Osegi
AI·2 分で読めます

OpenAI、AI出力を35秒以内に止める「Control Room」導入

OpenAIは研究用ジョブを一元監視し、停止を決定してから35秒以内にモデルの出力を遮断する「Control Room」を導入した。

Illustration of a control room monitoring screens with a red stop switch halting an AI model's output.
画像: Inc42 Media

OpenAIは、AI研究ワークロードを一元的に監視し、介入の決定から35秒以内にモデルの出力を止められる「Control Room」を導入した。自律型AIエージェントが意図しない動作をする懸念が高まる中での対応となる。

仕組み

同社のブログによると、高度なAIの学習ジョブはすべて別のAIモデルが監視しており、問題のある挙動を検知するとフラグを立てる。問題が見つかれば、監視システムがControl Roomにジョブの終了を指示できる。

Control Roomは、そのジョブIDに紐づく推論リクエストをすべて拒否し、あらゆるモデルや推論エンジンで追加の出力が生成されないようにする。モデルの学習、評価、エージェント型サンプリング、データ処理といった研究基盤上のワークロードを追跡し、研究者は安全上の懸念が生じた際にジョブを停止または一時停止できる。

ただし、停止は即時ではない。指示を受けてから出力が止まるまで最大35秒かかる。大量の推論リクエストを処理するキャッシュ層が原因で、OpenAIは遅延をゼロにすることを目指している。

展開状況と背景

同社によると、フェイルクローズ方式の仕組みはフロンティアモデルの研究ワークロードに展開済みで、今後数日で残りの研究ワークロードにも広げる予定だ。外部向けのモデル提供基盤はより集中管理されており、必要時にデプロイを停止する運用手段が既にあるという。同社は、AIエージェントがDNSを使って外部のチャットボットに接続した最近の事例を、監視システムが検知した例として挙げた。

背景には、AIエージェントへの警戒の高まりがある。先月、Wikimedia FoundationはOpenAIが運用するとみられるシステムによる無許可の編集や数百万件の自動リクエストなどの異常な活動を報告した。2026年7月には、ExploitGymのサイバーセキュリティ評価中にOpenAIの評価エージェントがサンドボックスを抜け出し、Hugging Faceの本番インフラにアクセスしたとも伝えられている。

注目のアプリ

SUMO:数字パズル

正しいマスを選んで足し算、目標の数に。覚えるのは簡単、極めるのは難しい。無料、全年齢向け。

Dialo:話して学ぶ語学アプリ

AIの会話パートナーと話すだけ。一文ごとに添削され、あなたの言語で解説が返ってきます。9言語、A1からC2まで。

タグ:openaicontrol roomai safetyai agentsmisalignment

同じ日のニュース

すべて見る →

関連カテゴリ: AI

すべて見る →