Microsoft und Google unterstützen gemeinsame KI-Trainingssperre

Microsoft hat am 30. Oktober neue Regeln angekündigt, mit denen Website-Betreiber steuern können, wie ihre Inhalte in den KI-Produkten des Konzerns genutzt werden. Das Training von Modellen und die Verwendung von Seiten für Antworten in Bing und Copilot lassen sich künftig getrennt untersagen, ohne dass die Seiten aus der regulären Suche verschwinden. Google erklärte am selben Tag, einen gemeinsamen Mechanismus zum Ausschluss vom KI-Training unterstützen zu wollen.

Beide Unternehmen orientieren sich an einem Standard, der derzeit bei der IETF entsteht. Er soll es Betreibern ermöglichen, Einschränkungen für mehrere KI-Anbieter gleichzeitig festzulegen, statt für jeden Crawler eigene Regeln zu schreiben.

Zwei getrennte Schalter

Microsoft unterscheidet AI Training und AI Grounding. Beim Training werden Texte, Bilder und andere Inhalte genutzt, um Modelle zu trainieren; diese können das Gelernte später wiedergeben, ohne die Quelle aufzurufen. Beim Grounding greift die KI auf eine Seite zu, um eine konkrete Nutzerfrage zu beantworten, etwa indem sie einen Artikel zusammenfasst, dessen Fakten nutzt und die Quelle verlinkt.

Das Training lässt sich für die gesamte Website mit zwei Zeilen in der robots.txt sperren. Die Indexierung bleibt davon unberührt; die Seite erscheint weiter in Bing, solange das Crawling nicht untersagt ist. Grounding lässt sich nicht in der robots.txt regeln, sondern per Meta-Tag im HTML oder per HTTP-Header, den Betreiber für jede Seite ausliefern können. Eine Zwischenlösung, ai-grounding:disallowextended, erlaubt Microsofts eigene Produkte wie Copilot, untersagt aber die Weitergabe an Drittentwickler über Dienste wie Web IQ und Foundry API.

Beide Einschränkungen sind unabhängig voneinander. Ohne Angaben geht Microsoft von erlaubter Nutzung in beiden Fällen aus.

Zeitplan und Grenzen

Die Regeln gelten ab dem 1. Februar 2027, sobald Seiten erneut gecrawlt werden. Wer die älteren Einstellungen NoArchive und NoCache nutzt, hat bis zum 1. März 2027 Zeit für die Umstellung. Um eine Grounding-Sperre bis zur Neuindexierung zu halten, kann eine temporäre Einstellung in den Bing Webmaster Tools nötig sein.

Google will die Unterstützung im Laufe des Jahres 2027 einführen. Sperrt eine Seite das Training mit der neuen Direktive und nennt keine eigenen Google-Extended-Regeln, gilt das Training auch für Google als untersagt; explizite Google-Extended-Angaben haben Vorrang. Eine Unterstützung für Microsofts Grounding-Sperre hat Google nicht angekündigt.

Das IETF-Projekt ist noch kein verabschiedeter Standard, und die Direktiven sind eine Willenserklärung, kein technischer Schutz. Die Einhaltung hängt von den Unternehmen ab. Microsoft warnt, dass eine Grounding-Sperre die Präsenz in KI-Antworten und den möglichen Traffic verringert. Eine Vergütung sehen die Regeln nicht vor.