AI 학습 거부, robots.txt로 일괄 지정…OpenAI·구글 대응

미국 OpenAI, 구글, 마이크로소프트는 10월 30일(현지시간) 웹사이트 운영자가 AI 학습 활용 의사를 여러 기업에 한꺼번에 전달할 수 있는 공통 방식을 지원하겠다고 각각 밝혔다. Anthropic도 구현을 진행하고 있다.

이 방식은 Anthropic의 표준화 담당자 케빈 켈리가 같은 날 IETF에 Internet-Draft로 제출했다. 지금까지 운영자는 AI 기업별로 크롤러를 식별해 규칙을 따로 작성해야 했다. 새 방식에서는 robots.txt의 User-Agent 줄에 "__usage_ai-training" 토큰을 쓰고, Disallow는 거부, Allow는 허용을 뜻한다. 예를 들어 "Disallow: /"와 "Allow: /press-kit/"를 쓰면 /press-kit/ 외 모든 경로를 학습에 쓰지 말라는 의사 표시가 된다.

크롤링 제어와는 별개

이 지정은 크롤링 자체를 막지 않는다. 크롤링을 제한하려면 기존 크롤러별 규칙을 써야 한다. 토큰이 없으면 의사를 표명하지 않은 것으로 해석된다. 새 문법을 도입하지 않아 기존 파서에는 영향이 없다고 한다. 다만 이 초안은 개인 명의로 제출돼 IETF 표준화 절차상 공식 지위는 없다.

기업별 일정

OpenAI는 수개월 안에 대응하는 것을 목표로 한다. 구글은 2027년 대응을 예정하며, 공통 신호로 거부하고 Google-Extended를 명시하지 않은 사이트는 Google-Extended도 거부한 것으로 처리한다.

마이크로소프트는 2027년 2월 1일부터 크롤링 시 새 설정을 읽는다. meta 태그와 HTTP 헤더로 페이지 단위 지정도 가능하며 robots.txt보다 우선한다. 기존 NoArchive와 NoCache를 쓰는 사이트는 2027년 3월 1일까지 새 설정으로 옮겨야 한다. Anthropic은 전체 서비스로 확대하려면 시간이 걸린다고 밝혔다.