구글, OpenAI 등과 robots.txt AI 학습 차단 지침 지지

구글이 OpenAI, 앤트로픽, 마이크로소프트와 함께 robots.txt 파일에 추가되는 새 지침을 지지한다고 밝혔습니다. 웹사이트 운영자가 자사 콘텐츠를 생성형 AI 모델 학습에 쓰도록 할지 더 쉽게 통제할 수 있게 하려는 조치입니다.

회사별 규칙 대신 단일 신호

지금까지 게시자는 회사마다 다른 크롤러에 대해 별도의 규칙을 작성해야 했습니다. 새 방식은 참여 기업이 인식하고 준수하는 통일된 신호를 제공합니다.

운영자는 전용 사용자 에이전트를 이용해 AI 학습에 쓰이길 원하지 않는 페이지나 섹션을 지정할 수 있습니다. 보도 페이지나 게시용 자료 등 특정 부분은 접근을 허용할 수도 있습니다.

각 사는 이 지침이 검색 결과 노출을 막지 않으며, AI 모델 학습용 데이터 수집만 대상으로 한다고 강조했습니다. 구글은 새 신호를 제미나이 학습용 자료를 수집하는 Google-Extended 사용자 에이전트에 대한 지침으로 처리합니다.

2027년 단계적 적용

앤트로픽은 이미 새 지침을 지원하기 시작했습니다. 마이크로소프트는 2027년 2월 1일부터 적용할 계획입니다. 구글은 2027년 초에 지원을 시작할 예정이고, OpenAI는 앞으로 몇 달 안에 시스템을 적용하겠다고 밝혔습니다.

다만 이미 수집된 데이터에는 영향을 주지 않고, 앞으로의 콘텐츠 수집만 규율합니다. 그럼에도 콘텐츠 보유자가 자신의 저작물 활용 방식을 더 통제해야 한다는 요구가 커지는 가운데, AI 기업과 게시자 관계에서 의미 있는 진전으로 평가됩니다.