Osegi
KI·1 Min. Lesezeit

Google wertet ab 2027 IETF-Token für KI-Training in robots.txt aus

Ab 2027 will Google ein anbieterübergreifendes IETF-Token für das KI-Training in der robots.txt auswerten. Google-Extended bleibt für Ausnahmen erhalten.

Illustration of a robots.txt file on a screen with a blocked AI crawler symbol next to a Google logo.
Bild: iX Magazin

Google will ab 2027 ein anbieterübergreifendes Token für das KI-Training in der robots.txt auswerten. Das Token stammt von der Internet Engineering Task Force (IETF). Webseitenbetreiber sollen damit mit einem einzigen Eintrag festlegen können, dass ihre Inhalte nicht für KI-Training genutzt werden – und zwar gegenüber allen Anbietern, nicht nur gegenüber einem Unternehmen.

Die bisherige Steuerung Google-Extended verschwindet nicht. Laut Ankündigung bleibt sie für Ausnahmen erhalten, sodass Betreiber weiterhin gezielt Regeln für Google festlegen können.

Weniger Pflegeaufwand für Betreiber

Bislang mussten Publisher, die ihre Inhalte aus dem KI-Training heraushalten wollten, für jeden Crawler und jeden KI-Anbieter eigene Regeln in der robots.txt pflegen. Mit jedem neuen Anbieter kam ein weiterer Eintrag hinzu. Ein gemeinsames, standardisiertes Token würde diesen Aufwand verringern und das Signal leichter verständlich und überprüfbar machen.

Für die Praxis ist zudem entscheidend, dass große Crawler-Betreiber einen Standard tatsächlich beachten. Dass Google sich festlegt, ist deshalb ein wichtiger Schritt für den IETF-Ansatz.

Wie es weitergeht

Google nennt 2027 als Startpunkt, Betreiber haben also Zeit zur Vorbereitung. Bis dahin gelten bestehende Regeln, auch die für Google-Extended, unverändert weiter. Ob und wann andere KI-Unternehmen das IETF-Token übernehmen, geht aus den vorliegenden Informationen nicht hervor.

Apps, die sich lohnen

SUMO: das Zahlenrätsel

Tippe die richtigen Felder, addiere, triff das Ziel. Leicht zu lernen, schwer zu meistern. Kostenlos, für jedes Alter.

Schlagwörter:googlerobots.txtietfai traininggoogle-extendedweb crawlers

Mehr von diesem Tag

Alle anzeigen →

Mehr aus: KI

Alle anzeigen →