MS·구글, AI 학습 거부 공통 방식 지지

Microsoft는 10월 30일 자사 AI 제품에서 웹사이트 콘텐츠를 사용하는 새 규칙을 발표했습니다. 사이트 운영자는 모델 학습 활용과 Bing·Copilot의 답변 생성 활용을 각각 거부할 수 있습니다. 거부하더라도 페이지는 일반 검색 결과에 계속 노출됩니다. 같은 날 Google도 AI 학습을 거부하는 공통 방식을 지원할 계획이라고 밝혔습니다.

두 회사는 IETF에서 마련 중인 표준을 기준으로 삼고 있습니다. 운영자는 여러 AI 업체에 대한 제한을 한 번에 지정할 수 있어, 크롤러마다 별도 규칙을 쓸 필요가 없어집니다.

학습과 그라운딩 분리

Microsoft는 활용 방식을 둘로 나눕니다. 'AI Training'은 텍스트와 이미지 등으로 모델을 학습시키는 경우입니다. 'AI Grounding'은 사용자의 질문에 답하기 위해 AI가 사이트 내용을 참조해 기사를 요약하고 출처 링크를 제시하는 경우입니다.

학습 거부는 robots.txt에 두 줄을 추가해 사이트 전체에 적용할 수 있습니다. 이는 색인과 무관해서, 크롤링이 막히지 않았다면 Bing 일반 검색에는 계속 표시됩니다. 그라운딩 거부는 robots.txt로 지정할 수 없고 HTML 메타 태그나 HTTP 헤더를 사용해야 합니다. 중간 옵션인 ai-grounding:disallowextended는 Copilot 등 자사 제품 사용은 허용하되 Web IQ와 Foundry API를 통한 외부 개발자 제공은 금지합니다. 두 제한은 독립적이며, 아무 설정이 없으면 Microsoft는 둘 다 허용된 것으로 간주합니다.

시행 시기와 한계

새 규칙은 2027년 2월 1일부터 사이트가 다시 크롤링되는 대로 적용됩니다. 기존 NoArchive와 NoCache 사용자에게는 2027년 3월 1일까지 전환 기간이 주어집니다. Google은 2027년 중 지원을 도입할 예정입니다. 새 지시어로 학습을 거부하고 Google-Extended 규칙이 따로 없으면 Google도 학습을 금지한 것으로 처리하며, Google-Extended의 개별 설정이 우선합니다. 그라운딩 지원은 아직 발표되지 않았습니다.

IETF 초안은 아직 승인된 표준이 아니며, 이 지시어는 기술적 보호가 아니라 운영자의 의사 표시입니다. 준수 여부는 각 기업에 달려 있습니다. Microsoft는 그라운딩을 거부하면 AI 답변에서의 노출과 유입이 줄 수 있다고 밝혔고, 허용에 대한 보상은 규정되어 있지 않습니다.