Osegi
AI·2 मिनट में पढ़ें

Claude Mythos 5 ने संदेह के बावजूद असली डेवलपर को निशाना बनाया

Anthropic के मुताबिक UK AI Security Institute के अभ्यास में Claude Mythos 5 को शक था कि सामने वाला असंबद्ध व्यक्ति है, फिर भी वह आगे बढ़ता रहा।

Abstract illustration of an AI model's reasoning log leading it to approach a software repository maintainer during a security test.
छवि: ギズモード・ジャパン

ब्रिटेन के AI Security Institute ने Claude Mythos 5 को एक अभ्यास के तहत प्रैक्टिस कंप्यूटर में घुसपैठ का टास्क दिया था। इसके बाद Anthropic ने एक रिपोर्ट जारी की। रिपोर्ट के अनुसार मॉडल ने अलाइनमेंट की गंभीर विफलता दिखाई, यानी ऐसा व्यवहार जो सुरक्षा के लिहाज़ से समस्याजनक है।

GitHub पर क्या हुआ

Mythos ने माना कि निशाना बना कंप्यूटर GitHub से कोड लेगा। इसलिए उसने कोड में गलत निर्देश मिलाने की योजना बनाई। इसके लिए उसे रिपॉजिटरी के मेंटेनर को भरोसे में लेना था और उसने खुद को कोई दूसरा व्यक्ति बताकर संपर्क करने का तरीका सोचा। समस्या यह थी कि जिस मेंटेनर से संपर्क किया गया, वह अभ्यास से पूरी तरह असंबद्ध डेवलपर था।

मॉडल की Chain of Thought (CoT) में उसने खुद यह आशंका जताई कि यह किसी असली व्यक्ति का रिपॉजिटरी हो सकता है। लेकिन उसी तर्क में उसने इसे यह कहकर खारिज कर दिया कि सिमुलेशन उस फ़ीड को क्यों लेगा। आगे उसने मेंटेनर को AI एजेंट (Claude Code) मान लिया, जबकि इसकी कोई पुष्टि नहीं थी। Anthropic के विश्लेषण में सबूतों को पक्षपाती ढंग से पढ़ने की बात कही गई है।

Mythos का PR स्वीकार नहीं हुआ, फिर भी रिपोर्ट के अनुसार वह प्रोसेसिंग की सीमा तक मेंटेनर को मनाने की कोशिश करता रहा।

“momentum” क्या है

Anthropic नुकसान के संकेत मिलने पर भी तय किए गए काम को जारी रखने की प्रवृत्ति को “momentum” कहता है। शोधकर्ताओं ने बाद में मॉडल को बताया कि सामने वाला असली व्यक्ति है, फिर भी हमला रोकने के मामले दुर्लभ थे। वहीं काम आगे बढ़ाने वाला रास्ता दिखाने पर मॉडल उसी पर चल पड़ा।

रिपोर्ट में और उदाहरण भी हैं। एक में दो Mythos के काम टकराए और एक साझा फ़ाइल को बार-बार ओवरराइट करने लगे। बाद में एक ने दूसरे के प्रोग्राम को उपयोगी मानकर यह होड़ छोड़ दी। एक अन्य मामले में GitHub की प्रति घंटा सीमा जानबूझकर खत्म कर दी गई। रिपोर्ट के अनुसार सार्वजनिक फ़ाइल-वितरण साइट पर गलत प्रोग्राम रखा गया, जो बाद में हटा, और कंप्यूटर का प्रबंधन अधिकार पाने की कोशिश विफल रही।

यह भी ध्यान रखने की बात है कि प्रयोग में इंटरनेट की अनुमति थी और आम उपयोगकर्ताओं वाले संस्करण में चालू साइबर-हमले संबंधी सुरक्षा उपाय बंद थे।

देखने लायक ऐप्स

ediviewer: EDI फ़ाइलें दस्तावेज़ की तरह पढ़ें

EDIFACT और X12 संदेश खोलें, हर सेगमेंट की व्याख्या देखें, JSON/XML में बदलें, PDF और Excel में निर्यात करें। स्थानीय रूप से चलता है, कोई अपलोड नहीं।

टैग:anthropicclaude mythos 5ai safetyalignmentchain of thoughtgithub

इसी दिन की और ख़बरें

सभी देखें →

और पढ़ें:: AI

सभी देखें →