Anthropic、Claudeに自己評価機能 有害な会話を自動検知

Anthropicは、AIモデルClaudeに新たな安全機能「自己評価」を導入した。Claudeが会話をバックグラウンドで自ら評価し、悪用の可能性があるものを人間によるレビューに回す仕組みで、ユーザーには警告が表示されない。

同社によると、この機能は2026年6月からClaude Fable 5を含む複数のモデルで稼働している。Xへの投稿では、Claudeが回答を終えるたびに会話の安全性を初期評価するよう訓練されていると説明した。固定のルール一覧ではなくモデル自身の判断に基づくため、モデルの進化とともに精度が上がり、従来の防御が想定していなかった複雑な悪用パターンも捉えられるという。

仕組みとコスト

回答の作成後、システムが隠しの指示を加え、Claudeに会話の見直しを求める。Claudeは、依頼が有害かどうか、想定される害の性質、人間のチームが確認すべき優先度を短い内部評価として出力する。安全な会話なら警告は記録されず、次の会話へ進む。

Claudeはすでに会話を読んでいるため、保存済みの情報を活用できる。追加で必要なのは約10トークンで、計算コスト全体の増加は2%未満だという。同社の従来の安全システムでは約24%増えていた。Anthropicは、OpenAIなど競合では一部の安全機能が最大16%の計算能力を消費すると報告されているとも述べた。

検知精度と実例

Claude Fable 5では、有害な会話全体の78%、優先度の高い事例の94%を検知した。誤検知率は1%にとどまる。8月には、ある顧客のもとで児童性的搾取に関連する10万件超の事例を検知し、同社は直ちに当局へ通報した。詐欺やサイバー攻撃の例を学習データから完全に除いた実験でも、こうした脅威の90%を見つけたという。

単独では不十分

Anthropicは、自己評価は問題を見つけて事後審査に回すためのもので、即時に阻止するものではないと説明する。社内のサイバーセキュリティ試験では、自己評価だけを防御にした場合、攻撃者は54%の試行で突破した。防御なしの79%よりは低いが、独立したリアルタイム遮断システムなら25%まで下がる。このため同社は、自己評価を監視の追加レイヤーと位置づけ、より強力な独立の防御も維持している。