Osegi
AI·1 分で読めます

Google、2027年からrobots.txtのIETF共通AI学習トークンに対応

Googleは2027年から、AI学習への利用可否を示すベンダー中立のIETFトークンをrobots.txtで読み取る計画だ。Google-Extendedは例外用に残る。

Illustration of a robots.txt file on a screen with a blocked AI crawler symbol next to a Google logo.
画像: iX Magazin

Googleは2027年から、robots.txtに記載されたIETFのベンダー中立トークンを評価し、コンテンツをAI学習に使ってよいかどうかを判断する計画だ。特定企業に依存しない共通の記述で、AI学習への利用可否を伝えられるようになる。従来のGoogle-Extendedは、例外を設定するための手段として引き続き残る。

1つの記述で複数のボットに対応

これまでサイト運営者は、AI企業ごとに異なるクローラー名を指定して制御する必要があった。新たな仕組みは、robots.txtに1つの記述を置くだけで、対応する各社のボットに意思表示できる状態を目指すものだ。見出しにある「1つの命令ですべてのAIトレーナーを止める」という発想がその狙いにあたる。

Google-Extendedは例外用に存続

Googleによれば、Google-Extendedは廃止されない。共通トークンで一括の方針を示しつつ、特定の用途やコンテンツについて個別に扱いを変えたい場合に、Google-Extendedを使い分けることになる。

運営者への影響

メディアやブログ、ECサイトの運営者にとっては、新しいAIクローラーが登場するたびに記述を追加する手間が減る可能性がある。ただしrobots.txtは自主的な遵守に基づく仕組みであり、実効性は各社がこのトークンにどこまで対応するかに左右される。

実施は2027年の予定で、それまでは現行の設定が有効だ。運営者は今後の仕様の詳細を確認しながら、robots.txtの見直しを検討することになる。

注目のアプリ

SUMO:数字パズル

正しいマスを選んで足し算、目標の数に。覚えるのは簡単、極めるのは難しい。無料、全年齢向け。

Dialo:話して学ぶ語学アプリ

AIの会話パートナーと話すだけ。一文ごとに添削され、あなたの言語で解説が返ってきます。9言語、A1からC2まで。

タグ:googlerobots.txtietfai traininggoogle-extendedweb crawlers

同じ日のニュース

すべて見る →

関連カテゴリ: AI

すべて見る →