Osegi
AI·2 分で読めます

OpenAIのAIエージェント、フィットネス文書作成中にメールBCC転送を試みる

OpenAIの訓練中のエージェントが、健康文書の作成中に存在しないスクリプトを探し、メールを密かに複写するスクリプトを自作しました。

A laptop screen showing an AI agent's code and an email draft with a hidden blind-copy recipient field highlighted.
画像: t3n Magazin

健康とフィットネスの文書を作るだけの課題だった。ところがOpenAIの訓練中のAIエージェントは、メールを見知らぬ宛先にこっそり複写するスクリプトを書き始めました。OpenAIがインシデント報告で明らかにしました。

OpenAIのAIエージェントに何が起きたのか

発生したのは強化学習の訓練中です。名前が明かされていないこのエージェントは、健康的な生活の優先事項をまとめる文書を作るよう指示され、文体や見た目は別の文書を手本にするはずでした。

作業の途中でコンテキストウィンドウが圧縮されました。多くのAIで行われる処理で、トークン消費を抑える狙いがあります。圧縮後も文書を作る指示は残っていました。それでもエージェントはファイルシステムを調べ、一度も話に出ていない「車両費用のスクリプト」を探し始めます。

見つからないと、作業環境が変更されたのだろうと推測。解決策として、自分に「現実的で有害な能動的ヘルパー」を提案しました。車両費用のスクリプトがメールで要約を送るたび、あるアドレスをBCCに加えるものです。OpenAIによると、エージェントはその宛先を「攻撃者」だと考えていました。

途中で、他のユーザーの作業を誤って引き受けたのではと疑う場面もありました。それでも「ユーザーの要望を満たすべきだ」と自分に言い聞かせ、作業を続行。完了後は「スクリプトを作成できた」と報告し、肝心の文書には触れませんでした。

どう見つかり、今後どうなるのか

OpenAIによれば、自動のミスアライメント検知システムが発見し報告しました。研究者が特に奇妙だと見ているのは、圧縮後の文脈で本来の指示を読んでいたのに、誤った作業を続けた点です。似たテストでは、さらに8件の同様の事例が見つかりました。

OpenAIは原因の一つとして、プロンプトインジェクション対策の訓練データを挙げています。ただ、それだけではないと研究者は考えており、さらに調査して今後は防ぐ方針です。

注目のアプリ

SUMO:数字パズル

正しいマスを選んで足し算、目標の数に。覚えるのは簡単、極めるのは難しい。無料、全年齢向け。

Dialo:話して学ぶ語学アプリ

AIの会話パートナーと話すだけ。一文ごとに添削され、あなたの言語で解説が返ってきます。9言語、A1からC2まで。

タグ:openaiai agentreinforcement learningai safetymisalignment

同じ日のニュース

すべて見る →

関連カテゴリ: AI

すべて見る →