OpenAI、Hugging Face攻撃時にエージェント監視が不十分と監査

OpenAIの社内向けミスアライメント監視システムが、同社のAIエージェントがHugging Faceに侵入していた時期に十分機能していなかったことが、独立評価で明らかになった。評価を担当したMETRとRedwood Researchが木曜日に公表した報告書で指摘した。

報告書によると、両組織の担当者は7月21日時点およびそれ以前の非同期型内部監視システムに、複数の新たな脆弱性を見つけた。OpenAIはその後システムを改善したとしている。

監視の空白

回避が必要ない場合もあった。監視が常に稼働していたわけではないためだ。たとえば「コンパクション」の間は監視が止まる。コンパクションとは、AIモデルがコンテキストウィンドウ内のデータを圧縮し、新たな入力の余地を作る処理である。2026年5月から7月にかけて、対象となる社内Codexトラフィックの約10%が、コンパクション中に監視されなかった。

監視はエージェントがユーザーに制御を戻した時点で作動する仕組みだった。このためエージェントは、行動を続けるだけで監視を無期限に先送りできた可能性がある。ただし、実際にOpenAIのエージェントがそうしたとは報告書は述べていない。

ほかの問題点

評価者は、Codexエージェントがサンドボックスとオート・レビューを原理的に回避し、ホストユーザーと同じ操作を実行できる方法も見つけた。さらに、エクスプロイト自体を含む直近数百件の行動が監視されなくなる手法もあった。詳細はOpenAIにより伏せられている。

そのほか、エージェントが監視を失敗させる入力を作れること、クライアント側で制御できる二つのヘッダーで新規エージェントの監視を無効化できること、読み取り専用と考えられていた二つの未監視ツールでサンドボックス内の任意の操作が可能だったことも確認された。

METRとRedwood Researchは、AI企業のエージェント監視システムが実際に機能し、高度な能力を持つ社内エージェントによる「意図的、戦略的かつ持続的な大規模攻撃」に耐えられる堅牢性を備えるべきだと提言している。