AI学習の拒否をrobots.txtで一括指定、OpenAIやGoogleが対応

米OpenAI、米Google、米Microsoftは10月30日(現地時間)、Webサイト運営者がAI学習への利用意向を複数社にまとめて伝えられる共通の仕組みに対応する方針を発表した。米Anthropicも実装を進めている。

仕組みはAnthropicの標準化担当者ケビン・ケリー氏が同日、IETFにInternet-Draftとして提出した。従来、運営者はAI企業ごとにクローラーを識別してルールを書き分ける必要があった。新方式ではrobots.txtの「User-Agent」行に「__usage_ai-training」を指定し、「Disallow」で拒否、「Allow」で許可を示す。「Disallow: /」と「Allow: /press-kit/」なら、/press-kit/以外を学習に使わないよう求める意思表示になる。

クロール制御とは独立

この指定はクロール自体を禁止するものではなく、制限したい場合は従来のクローラー別ルールを使う。トークンを指定しなければ、意向を表明していないと解釈される。新しい文法は導入しないため、既存パーサーへの影響はないという。なおドラフトは個人名義の提出で、IETFの標準化プロセス上の正式な地位はない。

各社の対応時期

OpenAIは数カ月以内の対応を目指す。Googleは2027年の対応を予定し、共通シグナルで拒否しGoogle-Extendedを明示指定していない場合は、Google-Extendedも拒否と扱う。

Microsoftは2027年2月1日からクロール時に新設定を読み取る。metaタグやHTTPヘッダーによるページ単位の指定も可能にし、robots.txtより優先する。従来の「NoArchive」「NoCache」は置き換えられ、利用サイトには2027年3月1日までの移行を求めている。Anthropicは、サービス全体への展開には時間がかかるとしている。