Google unterstützt wie OpenAI neue robots.txt-Regel gegen KI-Training

Google schließt sich OpenAI, Anthropic und Microsoft an und unterstützt eine neue Anweisung für die Datei robots.txt. Sie soll Website-Betreibern mehr Kontrolle darüber geben, ob ihre Inhalte zum Training generativer KI-Modelle verwendet werden.

Bislang mussten Verlage für den Crawler jedes einzelnen Unternehmens eigene Regeln anlegen, um ihre Seiten vom KI-Training auszuschließen. Das vorgeschlagene System ersetzt das durch ein einheitliches Signal, das die beteiligten Unternehmen erkennen und befolgen können.

So funktioniert die Regel

Betreiber können einen eigens dafür vorgesehenen User-Agent nutzen, um Seiten oder Bereiche zu markieren, die nicht für das KI-Training verwendet werden sollen. Zugleich lässt sich der Zugriff auf bestimmte Teile einer Website erlauben, etwa auf redaktionelle Seiten oder Material, das zur Veröffentlichung gedacht ist.

Die Unternehmen betonen, dass die Anweisung die Darstellung in Suchergebnissen nicht verhindert. Sie zielt ausschließlich auf die Datensammlung für das Training von KI-Modellen. Bei Google wird das neue Signal als Anweisung für den User-Agent Google-Extended behandelt, der Material für das Training der Gemini-Modelle sammelt.

Schrittweise Einführung bis 2027

Anthropic unterstützt die Anweisung bereits. Microsoft will sie ab dem 1. Februar 2027 anwenden, Google soll Anfang 2027 folgen. OpenAI kündigt an, das System in den kommenden Monaten umzusetzen.

Auf bereits gesammelte Daten hat die Regel keinen Einfluss. Sie betrifft nur das künftige Auslesen von Inhalten.

Der Schritt markiert eine wichtige Entwicklung im Verhältnis zwischen KI-Anbietern und Verlagen, denn die Forderungen nach mehr Mitsprache der Rechteinhaber beim Training generativer Modelle wachsen.