Google 2027 से robots.txt में IETF का सार्वभौमिक AI ट्रेनिंग टोकन मानेगा
Google 2027 से robots.txt में ऐसा वेंडर-न्यूट्रल IETF टोकन पढ़ने की योजना बना रहा है, जो AI ट्रेनिंग के लिए कंटेंट के उपयोग की अनुमति बताएगा। Google-Extended अपवादों के लिए बना रहेगा।

Google ने योजना बनाई है कि वह 2027 से robots.txt फ़ाइल में दिए गए एक ऐसे टोकन को पढ़ेगा, जिसे किसी एक कंपनी ने नहीं, बल्कि इंटरनेट मानक संस्था IETF के ज़रिए तय किया जा रहा है। यह टोकन बताएगा कि किसी वेबसाइट का कंटेंट AI ट्रेनिंग के लिए इस्तेमाल किया जा सकता है या नहीं। मौजूदा Google-Extended कंट्रोल भी बना रहेगा, लेकिन उसकी भूमिका अपवादों तक सीमित होगी।
एक एंट्री, कई बॉट
अभी तक वेबसाइट मालिकों को अलग-अलग AI कंपनियों के क्रॉलर के लिए अलग-अलग नियम लिखने पड़ते हैं। नए प्रस्ताव का लक्ष्य इसे सरल बनाना है: robots.txt में एक ही एंट्री सभी सहमत बॉट के लिए संकेत का काम करे, चाहे ट्रेनिंग करने वाली कंपनी कोई भी हो। इसी वजह से इसे "वेंडर-न्यूट्रल" यानी किसी एक विक्रेता से स्वतंत्र टोकन कहा जा रहा है।
Google-Extended का क्या होगा
Google के मुताबिक Google-Extended हटाया नहीं जाएगा। जिन साइटों को अपने कंटेंट पर अलग या अधिक बारीक नियम चाहिए, वे अपवाद तय करने के लिए इसी का इस्तेमाल कर सकेंगी। यानी सामान्य मामलों के लिए साझा टोकन और विशेष ज़रूरतों के लिए Google का अपना कंट्रोल, दोनों साथ चलेंगे।
पब्लिशर्स और डेवलपर्स के लिए मायने
प्रकाशकों, ब्लॉगर्स और ऑनलाइन स्टोर चलाने वालों के लिए यह बदलाव रखरखाव का बोझ घटा सकता है, क्योंकि हर नए AI क्रॉलर का नाम जोड़ने की ज़रूरत कम हो सकती है। हालांकि robots.txt एक स्वैच्छिक मानक है, इसलिए असर इस पर निर्भर करेगा कि कितनी कंपनियां इस टोकन को अपनाती हैं।
Google की योजना 2027 के लिए है। तब तक मौजूदा नियम लागू रहेंगे, और साइट मालिकों के पास नए टोकन की अंतिम बारीकियों को समझने और अपनी robots.txt को उसके अनुसार अपडेट करने का समय होगा।
देखने लायक ऐप्स
सही खाने चुनें, जोड़ें, लक्ष्य तक पहुँचें। सीखना आसान, महारत मुश्किल। मुफ़्त, हर उम्र के लिए।
AI बातचीत साथी से बात करें; हर वाक्य सुधरकर आपकी भाषा में समझाया हुआ लौटता है। 9 भाषाएँ, A1 से C2 तक।
EDIFACT और X12 संदेश खोलें, हर सेगमेंट की व्याख्या देखें, JSON/XML में बदलें, PDF और Excel में निर्यात करें। स्थानीय रूप से चलता है, कोई अपलोड नहीं।
इसी दिन की और ख़बरें
सभी देखें →
Anthropic का अप्रकाशित AI मॉडल Linux और Chrome की खामियों का फायदा उठाता दिखा

शैडो AI: ChatGPT चैट डिलीट करने पर भी सर्वर पर रह सकता है डेटा

JR East ने रेल लाइन पर उतारा चेनसॉ वाला ह्यूमनॉइड रोबोट




