AI11 नव॰ 2026, 2:40 am UTC·2 मिनट में पढ़ें

Claude Fable 5.2 के फ़िल्टर संवेदनशील अनुरोध कमज़ोर मॉडल को सौंपते हैं

Anthropic के सिस्टम कार्ड के मुताबिक Claude Fable 5.2 के सुरक्षा फ़िल्टर संवेदनशील अनुरोध Opus 4.8 को भेजते हैं, और prompt injection हमले सबसे ज़्यादा वहीं सफल होते हैं।

Illustration of an AI model's security filter redirecting suspicious requests toward an older, less protected model. — छवि: 01net.com

Anthropic ने 9 नवंबर को अपना अब तक का सबसे सक्षम मॉडल Claude Fable 5.2 जारी किया, लेकिन कंपनी की अपनी तकनीकी रिपोर्ट एक कमज़ोरी दिखाती है। prompt injection हमले ज़्यादातर तब सफल होते हैं, जब सुरक्षा फ़िल्टर किसी अनुरोध को दूसरे मॉडल के पास भेज देते हैं। कंपनी ने इसी दिन 264 पन्नों का सिस्टम कार्ड भी प्रकाशित किया। कीमतों में 20 प्रतिशत की कटौती की गई है।

Fable 5.2 का इंजन Claude Mythos 5.2 जैसा ही है, जो केवल सत्यापित संगठनों के लिए है। सार्वजनिक संस्करण में साइबर सुरक्षा, जीव विज्ञान और कुछ अत्याधुनिक AI कार्यों से जुड़े संवेदनशील अनुरोध रोकने वाले फ़िल्टर जुड़े हैं।

फ़िल्टर अनुरोध पुराने मॉडल को क्यों भेजता है

आक्रामक साइबर सुरक्षा से जुड़े अनुरोध Claude Opus 4.8 को भेजे जाते हैं, जो 28 मई को आया था। Anthropic के ऐप्स में यह बदलाव अपने आप होता है, जबकि API इस्तेमाल करने वाले डेवलपर्स के लिए यह वैकल्पिक है। संवेदनशील जीव विज्ञान और कुछ फ्रंटियर-मॉडल कार्य Opus 5 के पास जाते हैं।

समस्या यह है कि Opus 4.8, नए मॉडलों की तुलना में prompt injection का कम प्रतिरोध करता है। इस तकनीक में ईमेल या वेब पेज जैसी सामग्री में छिपे निर्देश डाले जाते हैं, जिन्हें एजेंट उपयोगकर्ता के आदेश की तरह मान लेता है।

Gray Swan बेंचमार्क में, जो एजेंट से निजी डेटा निकलवाने, फ़ाइलें मिटवाने या अनचाहा भुगतान करवाने की कोशिश करता है, पंद्रह प्रयासों के बाद 4.09 प्रतिशत हमले सफल रहे। Fable 5.1 में यह 1.02 प्रतिशत और Opus 5.5 में 0.96 प्रतिशत था। 53 प्रतिशत प्रयास Opus 4.8 ने संभाले, जो 5.17 प्रतिशत मामलों में हार गया। Fable 5.2 ने जो अनुरोध खुद संभाले, उनमें यह दर 2.05 प्रतिशत रही।

कोडिंग कार्यों पर स्वचालित हमलावर को हर परिदृश्य में 200 प्रयास मिले तो सफलता दर 89.82 प्रतिशत रही, और 99.5 प्रतिशत जवाब Opus 4.8 से आए। Fable 5.2 के अपने 43 जवाबों में कोई नहीं टूटा। उत्पादों में लगी सुरक्षा जाँच के साथ यह दर 28.16 प्रतिशत रही। कंप्यूटर-नियंत्रण परीक्षण में 40 सफल हमलों में से 38 इसी बदलाव के रास्ते आए।

Anthropic के उपाय और उपयोगकर्ताओं के लिए सलाह

यह समस्या सितंबर में Fable 5.1 के कार्ड में भी दर्ज थी, और तब से Opus 4.8 को मज़बूत किया गया है। Anthropic ने जाँच प्रणालियाँ जोड़ी हैं, जो एजेंट के पढ़े हुए कंटेंट को कार्रवाई से पहले परखती हैं। कोड टूल्स के डिफ़ॉल्ट मोड में एक क्लासिफ़ायर ख़तरनाक कमांड रोकता है।

जो लोग ईमेल या ब्राउज़िंग एजेंट को सौंपते हैं, वे एक सेटिंग चुन सकते हैं, जो बदलाव की जगह अनुरोध को रोक देती है। चिह्नित अनुरोध दोबारा लिखे जाने तक रुका रहता है और कमज़ोर मॉडल के पास नहीं जाता। सुरक्षा शोधकर्ता जैसे पेशेवर, जिनका वैध काम फ़िल्टर को सक्रिय करता है, कम पाबंदी वाले मॉडलों के लिए सत्यापित पहुँच माँग सकते हैं।