Anthropic、危険なAIモデルの差し止めを司法に委ねる案

AI開発企業のAnthropicは、独立した評価で重大なリスクがあると判明したAIモデルについて、カリフォルニア州当局が裁判所を通じて公開を止められる仕組みを提案した。高度なモデルへの監督を強め、想定されるリスクを抑える狙いだという。

提案は10月15日に同州のギャビン・ニューサム知事へ送った書簡に盛り込まれた。AIの安全性をめぐって出ていた案への回答という位置付けだ。同社は、評価によって壊滅的な被害につながる差し迫ったリスクが示された場合、州司法長官がモデルの展開、社内利用、開発継続の停止を求める裁判所命令を請求できるようにすべきだとしている。

独立した検証と報告の義務化

提案では、モデルの安全性を検証する独立機関がリスク報告を司法長官に提出できる仕組みを設ける。開発企業自身の判断だけに頼らず、必要に応じて法的措置を取れるようにする考えだ。さらに、先端モデルの開発者には少なくとも6カ月に一度リスク報告を公表するよう求めた。独立機関には、企業内の安全チームに近い水準で評価に必要な情報へのアクセスを認め、顧客データや機密情報は保護するとしている。

「キルスイッチ」だけでは不十分

同社はモデルを素早く停止する「キルスイッチ」にも言及した。企業が提供中や社内利用中のモデルを止められる能力は重要だとしつつ、停止だけで安全が担保されるとの見方には警鐘を鳴らした。全面停止が常に最適とは限らず、リスクの監視と対応を含む総合的な体制がなければ、誤った安心感を与えかねないという。

代わりに示したのが「サーキットブレーカー」方式だ。AIシステムの挙動を監視し、問題を検知して介入する仕組みで、モデル、AIエージェント、サービス利用者のそれぞれの水準で働く。モデルが自らの重みをコピーし、開発者の管理外のコンピューターへ移す事態など、停止では対処しきれない場面もあると指摘した。

広がる規制論議

カリフォルニア州はAIの安全規則の強化を検討している。伝えられるところでは、OpenAIも10月20日に知事へ提案を出し、高リスクモデルの管理や監督、監査の仕組みを支持した。Anthropicの案は、重大なリスクのあるモデルの公開を司法で止める道を求めた点が特徴だ。議論の軸は、AIの能力から説明責任や独立評価、法的介入へ移りつつある。