AI2 नव॰ 2026, 12:25 am UTC·2 मिनट में पढ़ें

Microsoft और Google AI ट्रेनिंग रोकने के साझा तरीके के समर्थन में

Microsoft वेबसाइटों को Bing और Copilot में AI ट्रेनिंग और AI जवाबों में इस्तेमाल को अलग-अलग रोकने देगी, जबकि Google साझा IETF-आधारित व्यवस्था अपनाएगी।

SUMO

Dialo

ediviewer

Website owner configuring robots.txt and meta tag settings to block AI training and AI answer generation on a laptop screen. — छवि: Хабр

Microsoft ने 30 अक्टूबर को अपने AI उत्पादों में वेबसाइट कंटेंट के इस्तेमाल के नए नियम घोषित किए। वेबसाइट मालिक अब अपनी सामग्री पर मॉडल की ट्रेनिंग और Bing व Copilot के जवाबों में उसके इस्तेमाल को अलग-अलग रोक सकेंगे। इसके बावजूद पेज सामान्य सर्च नतीजों में दिखते रहेंगे। उसी दिन Google ने भी कहा कि वह AI ट्रेनिंग रोकने की साझा व्यवस्था का समर्थन करेगी।

दोनों कंपनियां IETF में विकसित हो रहे एक मानक को आधार बना रही हैं। इसके तहत मालिक एक ही निर्देश से कई AI प्रदाताओं के लिए पाबंदी तय कर सकेंगे, हर क्रॉलर के लिए अलग नियम लिखने की ज़रूरत नहीं होगी।

दो अलग श्रेणियां

Microsoft ने उपयोग को दो हिस्सों में बांटा है। AI Training में टेक्स्ट, इमेज और अन्य सामग्री से मॉडल को प्रशिक्षित किया जाता है। AI Grounding में AI किसी उपयोगकर्ता के सवाल का जवाब देने के लिए साइट की सामग्री देखता है, जैसे लेख का सारांश देना और स्रोत का लिंक देना।

ट्रेनिंग को पूरी साइट के लिए robots.txt में दो पंक्तियां जोड़कर रोका जा सकता है। यह पाबंदी इंडेक्सिंग पर लागू नहीं होती, इसलिए साइट Bing के सामान्य नतीजों में बनी रहेगी, बशर्ते क्रॉलिंग प्रतिबंधित न हो। Grounding robots.txt से नहीं रुकती; इसके लिए पेज के HTML में मेटा टैग या HTTP हेडर इस्तेमाल करना होगा। ai-grounding:disallowextended विकल्प Microsoft को अपने उत्पादों, जैसे Copilot, में इस्तेमाल की छूट देता है, पर Web IQ और Foundry API के ज़रिए तीसरे पक्ष को देना मना करता है। दोनों पाबंदियां स्वतंत्र हैं, और कुछ न लिखने पर Microsoft दोनों उपयोग मान्य मानती है।

समय-सीमा और सीमाएं

नए नियम 1 फरवरी 2027 से, साइटों के दोबारा क्रॉल होने के साथ लागू होंगे। NoArchive और NoCache इस्तेमाल करने वालों के लिए 1 मार्च 2027 तक संक्रमण अवधि है। Google 2027 के दौरान समर्थन लाएगी। यदि साइट नए निर्देश से ट्रेनिंग रोकती है और Google-Extended के लिए अलग नियम नहीं देती, तो Google ट्रेनिंग को प्रतिबंधित मानेगी; Google-Extended की अलग सेटिंग को प्राथमिकता मिलेगी। AI Grounding के समर्थन की घोषणा Google ने अभी नहीं की है।

IETF परियोजना अभी स्वीकृत मानक नहीं है, और ये निर्देश तकनीकी सुरक्षा नहीं, बल्कि मालिक की पसंद का बयान हैं। पालन कंपनियों पर निर्भर है। Microsoft के अनुसार grounding रोकने से AI जवाबों में साइट की मौजूदगी और संभावित ट्रैफिक घटेगा, और अनुमति देने पर किसी मुआवज़े का प्रावधान नहीं है।