robots.txt: OpenAI, Google und Microsoft unterstützen KI-Training-Signal

OpenAI, Google und Microsoft haben am 30. Oktober angekündigt, einen gemeinsamen Mechanismus zu unterstützen, mit dem Website-Betreiber mehreren KI-Unternehmen zugleich mitteilen können, ob ihre Inhalte für das KI-Training genutzt werden dürfen. Auch Anthropic hat mit der Umsetzung begonnen.

Der Vorschlag stammt aus einem Internet-Draft mit dem Titel „Machine-Readable Training Preference Signal“, den Anthropics Standardisierungsbeauftragter Kevin Kelly am selben Tag bei der IETF eingereicht hat. Er beruht auf Diskussionen der IETF-Arbeitsgruppe AI Preferences (AIPREF). Bisher mussten Betreiber den Crawler jedes KI-Anbieters identifizieren und eigene Regeln schreiben.

So funktioniert das Signal

Betreiber tragen in der robots.txt in der User-Agent-Zeile das Policy-Token „__usage_ai-training“ ein. „Disallow“ steht dann für die Ablehnung des Trainings, „Allow“ für die Erlaubnis. Wer „/“ sperrt und „/press-kit/“ freigibt, untersagt das Training für alles außer dem Pressebereich.

Das Signal ist unabhängig von der Crawl-Steuerung und verbietet das Crawlen nicht; dafür gelten weiterhin die crawlerspezifischen Regeln. Ohne Token gilt: keine Präferenz geäußert. Da der Entwurf keine neuen Direktiven oder Syntax einführt, bleiben bestehende Parser unberührt. Erfasst ist Training, das die Parameter generativer KI-Modelle verändert. Unternehmen dürfen eigene Steuerungen weiter vorrangig behandeln oder Einzelverträge berücksichtigen. Der Entwurf wurde als Einzelperson eingereicht und hat in der IETF noch keinen formalen Status.

Zeitpläne der Unternehmen

OpenAI will das Signal in den kommenden Monaten umsetzen und dann Details nennen. Google peilt 2027 an. Lehnt eine Website das Training über das gemeinsame Signal ab und hat Google-Extended nicht ausdrücklich gesetzt, wertet Google auch Google-Extended als abgelehnt. Wer Google-Extended ausdrücklich erlaubt, kann für das Grounding der Gemini-App herangezogen werden und Klicks erhalten.

Microsoft liest die neuen Einstellungen ab dem 1. Februar 2027. Hinzu kommen seitenbezogene Steuerungen per Meta-Tag und HTTP-Header, die Vorrang vor der robots.txt haben, sowie Grounding-Optionen wie „Disallow“ und „DisallowExtended“. Sie ersetzen „NoArchive“ und „NoCache“; Betreiber sollen bis zum 1. März 2027 umstellen. Bing-Suchergebnisse bleiben unberührt.

Anthropic hat nach eigenen Angaben begonnen, den Entwurf umzusetzen; die Ausweitung auf alle Dienste braucht Zeit. Hintergrund sind zahlreiche Klagen von Verlagen wegen der KI-Nutzung von Web-Inhalten.