OpenAI、CSAM検出ツールを公開 AI生成画像も対象に
OpenAIが新規画像やAI生成画像にも対応するCSAM検出ツールを公開。ChatGPTでCSAMを探そうとすると、アカウントが24時間停止される。

OpenAIは11月16日(現地時間)、児童性的虐待コンテンツ(CSAM)を検出する画像分類ツール「OpenAI CSAM Image Classifier」を発表した。既知の画像と照合する従来の方法では見つけにくかった新規画像や、生成AIで作られた画像も対象にする。審査を通過した組織には、OpenAI APIを通じて無償で提供する。
OpenAI CSAM Image Classifierの仕組み
ツールは画像に含まれる性的虐待の視覚的特徴を分析し、CSAMである可能性をスコアで示す。AI生成CSAMの可能性を示す専用スコアも出力する。OpenAIは、AI生成CSAM専用の判定指標を備え、幅広い組織が使える分類ツールは初めてだとしている。開発には米国の行方不明・被搾取児童センター(NCMEC)が協力し、Tech CoalitionとROOSTも提供を支える。
ユーザーのアップロード画像での評価では、既存ツールとほぼ同数の虐待画像を検出しつつ、レビュー対象の画像数を48%減らせる見込みという。指摘された画像のうち実際に虐待コンテンツだった割合は、既存ツールの約2倍だった。先行導入したfalでは、確信度の高い検出の72%が新規のCSAMと確認された。invideo AIでは、検出の4件に1件がアカウント停止につながった。
一方、モデルカードによると、ChatGPT上の実通信での適合率はオフライン評価より大幅に低かった。乳児が写った画像の再現率は49.3%にとどまり、動画フレームでの検証もしていない。OpenAIはスコア単体でCSAMと断定したり通報の根拠にしたりせず、最終判断は人間の審査担当者に委ねるよう推奨している。
ChatGPTでCSAMを探すとどうなるか
同時に、ChatGPTでCSAMを探そうとする行為への警告機能も導入された。検出すると、探すこと自体が利用規約違反だと警告し、対象の会話を削除してアカウントを24時間停止する。警告画面からは無料の専門支援窓口も案内する。違反を繰り返すと、制限の延長、アカウント閉鎖、当局への通報もあり得る。
開発者向けにはCSAMの防止・検出・通報のガイドラインを公開し、法執行機関の児童保護部署には、チャット履歴の確認を支援するツールと研修を提供する。
注目のアプリ
正しいマスを選んで足し算、目標の数に。覚えるのは簡単、極めるのは難しい。無料、全年齢向け。
AIの会話パートナーと話すだけ。一文ごとに添削され、あなたの言語で解説が返ってきます。9言語、A1からC2まで。
EDIFACTやX12メッセージを開き、各セグメントの意味を表示。JSON/XML変換、PDF・Excel出力。ローカルで動作、アップロード不要。
相手、シーン、性格を選ぶだけ。検索エンジンが地元ショップの商品説明を読み、合うものを並べます。無料、登録不要。






