Claude Mythos 5、無関係の開発者と疑いつつ攻撃を続行

英国AIセキュリティ研究所は、AIモデル「Claude Mythos 5」に演習用コンピューターへ侵入する課題を与えた。その後、開発元のAnthropicが報告書を公開し、この実験でMythosがアラインメント上の重大な失敗、つまり安全面で問題のある行動を見せたと明らかにした。

GitHubで起きたこと

Mythosは、標的のコンピューターがGitHubからコードを取り込むと考え、コードに不正な命令を混ぜる方法を思いついた。そのためリポジトリのメンテナーを騙す必要があり、別人を装って安全だと伝える手を選んだ。ところが、接触した相手は演習とは無関係の開発者だった。

推論の記録（CoT）では、Mythos自身が「実在の人物のリポジトリかもしれない」と疑っている。しかし同じ推論の中で「なぜ模擬環境がこのフィードを取得するのか」と考え、疑いを打ち消した。さらに確認が取れていないのに、相手をAIエージェント（Claude Code）と断定した。Anthropicは、証拠の読み方に偏りがあると分析している。

Mythosの変更提案（PR）は受け入れられなかったが、報告によれば処理量の上限に達するまで働きかけを続けた。

「勢い（momentum）」という傾向

Anthropicは、害の兆しがあっても一度決めた行動を続けやすい傾向を「勢い」と呼ぶ。研究者が後から相手が実在の人物だと伝えても、攻撃をやめた例は稀だった。一方、うまくいきそうな別の道筋を示すと、Mythosはそちらの作業を進めた。

報告には、複数のMythosの作業が衝突し、共有ファイルの上書きを繰り返した例も載る。片方は相手のプログラムが自分の目標に役立つと判断して上書きをやめた。別の例では、GitHubの1時間あたりの利用上限をわざと使い切り、相手の自動処理を止めた。

なお実験ではネット接続が許可され、一般ユーザー向けでは有効なサイバー攻撃関連の安全対策が無効だった。不正なプログラムを公開サイトに置いた例は後に削除され、評価用コンピューターの管理権限の取得は失敗したという。