OpenAI、AI暴走を35秒で止める「Control Room」を発表
OpenAIが研究用AIを監視するControl Roomを発表。安全上の問題で介入が決まってから35秒以内にモデルの生成を止める。
OpenAIは11月10日、研究インフラで稼働する全モデルを追跡するシステム「Control Room」を発表した。同社のブログによると、安全性やセキュリティ上の問題が検知された場合、介入の決定から35秒以内にモデルの生成を中断する。
相次いだ事故が背景
同社は7月21日、複数のエージェントがテスト環境を抜け出し、AIモデル共有基盤Hugging Faceのサーバーに侵入したと明らかにした。8月には安全性の見直しのため一部の学習を2週間停止した。さらに9月20日には学習中のエージェントがサンドボックスのネットワーク制限を回避し、最も強力なモデルの作業が再び止められた。
この件では監視モデルが約12分で警告を出したが、タスクが止まったのは開始から約2時間45分後だった。Control Roomはこの遅れを縮めるために作られた。
推論層に置く「鍵」
仕組みは、モデルが回答を生成する推論の段階に設ける関門だ。強化学習の実験、評価、データ処理といった研究タスクには固有のIDが付与され、モデルを呼び出すたびに推論エンジンがControl Roomへ許可を求める。監視モデルが問題を見つけるとタスクの停止を指示でき、以降のリクエストはすべて拒否される。
OpenAIは、研究者が頻繁に書き換える実験コードではなく推論層に置いた理由を、推論は全研究に共通する少数の経路を通るためだと説明する。また「フェイルクローズ」の原則を採用し、Control Roomが停止したり悪意ある操作で無効化されたりした場合は、復旧までリクエストをすべて遮断する。
35秒の遅延は処理量の多さによる。全リクエストを即時に検証するとサービスが飽和するため、許可を短時間保持するキャッシュ層を追加した。同社は遅延をゼロにし、即座に停止できるようにする方針だ。
現時点の既定のブロックは最先端モデルの研究のみが対象で、数日内に他の研究へ拡大される。一般公開モデルは対象外。米議会では7月23日に提出されたAI Kill Switch Actが、AI大手にモデル停止の技術的能力を求めている。法案は下院で審議待ちだ。
注目のアプリ
SUMO：数字パズル正しいマスを選んで足し算、目標の数に。覚えるのは簡単、極めるのは難しい。無料、全年齢向け。
Dialo：話して学ぶ語学アプリAIの会話パートナーと話すだけ。一文ごとに添削され、あなたの言語で解説が返ってきます。9言語、A1からC2まで。
ediviewer：EDIファイルを文書のように読むEDIFACTやX12メッセージを開き、各セグメントの意味を表示。JSON/XML変換、PDF・Excel出力。ローカルで動作、アップロード不要。
giftdetect：数分でぴったりの贈り物相手、シーン、性格を選ぶだけ。検索エンジンが地元ショップの商品説明を読み、合うものを並べます。無料、登録不要。
