Claude Fable 5.2、フィルターが脆弱な旧モデルへ誘導

要求は旧モデルへ回される

攻撃的なサイバーセキュリティに関する要求は、5月28日公開のClaude Opus 4.8に振り分けられる。Anthropicのアプリでは自動、API利用の開発者ではオプションだ。機微な生物学や一部の先端モデル関連作業はOpus 5へ回る。

だがOpus 4.8は新しいモデルに比べ、プロンプトインジェクションへの耐性が低い。メールやWebページなどエージェントが読む内容に指示を紛れ込ませ、ユーザーの命令として実行させる手口である。

機密データの持ち出しやファイル削除、不正な支払いを誘うGray Swanのテストでは、15回の試行後の攻撃成功率は4.09%だった。Fable 5.1は1.02%、Opus 5.5は0.96%で、約4倍になる。試行の53%はOpus 4.8が処理し、5.17%で突破された。Fable 5.2自身が処理した分は2.05%だった。

コード課題で自動攻撃ツールに1シナリオ200回の試行を与えると成功率は89.82%に達し、応答の99.5%は代替モデルによるものだった。Fable 5.2自身の43件の応答で突破されたものはない。製品に組み込まれた検知プローブを使っても28.16%で、Fable 5.1の約3倍である。コンピューター操作では、成功した40件の攻撃のうち38件が切り替え経由だった。

Anthropicの対策

この現象は9月公開のFable 5.1のカードにも記載されており、Opus 4.8はその後強化された。エージェントが読む内容を実行前に検査するプローブと、コードツールの標準実行モードで危険なコマンドを止める分類器も追加されている。

メールやブラウジングをエージェントに任せるユーザー向けには、切り替えの代わりに処理を一時停止する設定がある。フラグが立った要求は言い換えを待ち、弱いモデルには送られない。正当な業務でフィルターに触れるセキュリティ研究者らは、制限の少ないモデルへの検証済みアクセスを申請できる。