Osegi
AI·1 분 소요

구글, 2027년부터 robots.txt의 IETF 공통 AI 학습 토큰 지원

구글은 2027년부터 robots.txt에서 AI 학습 활용 여부를 알리는 벤더 중립 IETF 토큰을 읽을 계획입니다. Google-Extended는 예외용으로 유지됩니다.

Illustration of a robots.txt file on a screen with a blocked AI crawler symbol next to a Google logo.
이미지: iX Magazin
SUMODialoediviewer

구글이 2027년부터 robots.txt에 기재된 IETF의 벤더 중립 토큰을 확인해 콘텐츠를 AI 학습에 사용해도 되는지 판단할 계획입니다. 특정 기업에 종속되지 않은 공통 표기로 AI 학습 허용 여부를 알릴 수 있게 됩니다. 기존 Google-Extended는 예외를 설정하는 용도로 계속 남습니다.

하나의 항목으로 여러 봇에 대응

그동안 웹사이트 운영자는 AI 기업마다 다른 크롤러 이름을 지정해 접근을 제어해야 했습니다. 새 방식은 robots.txt에 항목 하나를 두는 것만으로 이를 따르는 여러 업체의 봇에 의사를 전달하는 것을 목표로 합니다. 하나의 명령으로 모든 AI 학습 봇을 막는다는 구상이 여기에 해당합니다.

Google-Extended는 예외용으로 존속

구글에 따르면 Google-Extended는 사라지지 않습니다. 공통 토큰으로 기본 방침을 밝히고, 특정 용도나 콘텐츠에 대해 다른 처리가 필요할 때 Google-Extended를 별도로 활용하는 구조입니다.

운영자에게 미치는 영향

언론사, 블로그, 온라인 쇼핑몰 운영자는 새로운 AI 크롤러가 등장할 때마다 항목을 추가해야 하는 부담이 줄어들 수 있습니다. 다만 robots.txt는 자율적 준수에 기반한 방식이어서, 실제 효과는 각 업체가 이 토큰을 얼마나 지원하느냐에 달려 있습니다.

적용 시기는 2027년으로 예정돼 있으며, 그때까지는 현재 설정이 그대로 유효합니다. 운영자는 앞으로 공개될 세부 사양을 확인하며 robots.txt 점검을 준비하면 됩니다.

주목할 만한 앱

SUMO: 숫자 퍼즐

올바른 칸을 고르고 더해 목표 숫자를 맞추세요. 배우긴 쉽고 마스터하긴 어렵습니다. 무료, 전 연령.

태그:googlerobots.txtietfai traininggoogle-extendedweb crawlers

같은 날의 다른 뉴스

전체 보기 →

관련 카테고리: AI

전체 보기 →