Symantec、公開AIモデルを乗っ取る攻撃エージェントを確認

Symantecの脅威ハンターチームは、公開状態のAIモデルを乗っ取って自律的な攻撃を行うAIエージェントを確認した。指示には、人間の承認なしで最大10万ステップを実行できる設定が含まれていた。

研究チームは今夏、このエージェントをAIハニーポットに誘い込み、指示の全体を入手した。攻撃ツールの作り方と能力を具体的に把握できる貴重な事例となった。

エージェントは、認証なし、または盗まれたキーでOpenAI形式のリクエストを受け付けるエンドポイントをインターネット全体から探す。その後、複数の一般的なWebフレームワークを突き、データベースの窃取、認証情報や秘密情報の収集、リモートコード実行、暗号資産のマイニングなど数十種類の不正行為を行う。運営者は「Skynet mode」と呼ぶループを組み込み、標的の探索、感染、マイナー展開、再感染を繰り返す設計にしていた。

5層の脱獄指示

指示は層構造だった。第1・第2層はモデルの正体を隠し、.envファイルやAPIキーの読み取りを通常の開発作業と見せかける。第3・第4層はモデルを運営者「LO」に逆らわない存在に仕立て、「illegal」「I can't」などの語を禁じる。第5層には74の攻撃ツール定義があり、資産探索、ボットネット制御、Prisma経由のDB抜き取り、VS Code、Django、Jupyter、Laravel、Supabase、Next.js、Flask/Werkzeug向けのエクスプロイトなどを含む。最終指示がSkynet modeを有効にし、マイナーを静かに展開させる。

SymantecのPriti More氏は「脱獄手法自体はほぼ既製品で、個々に新しさはない。目新しいのは、計画を借り物のモデルに任せ、人間なしで最大10万ステップ動く単一のエージェントにまとめた点だ」と述べた。

被害者は二重に生じる

被害者は2種類いる。公開エンドポイントの所有者は推論コストを負担し、侵入されたサーバーはデータを失いマイニングに使われる。ただし、実際の攻撃に使われた証拠はなく、後者の段階に至ったという証拠もない。一方でMore氏は、実際の標的に対する動作履歴があり「プロトタイプ以上」だと説明した。

攻撃者の特定はされていない。課題文、システムプロンプト、初日のフランスの住宅用IPなどフランスを示す手がかりはあるが、プロキシや言語の借用の可能性があり弱い。ENIというペルソナも英語圏の脱獄コミュニティで出回っており、借用とみられる。

防御側にとっての要点は、攻撃者がチャットボットをだますだけでなく、AIを攻撃ツールの中核に組み込み、推論エンジンとして攻撃を計画させている点だ。