Osegi
الذكاء الاصطناعي·2 دقائق قراءة

Claude Mythos 5 واصل هجومه رغم شكه في أن هدفه شخص حقيقي

أفادت Anthropic بأن Claude Mythos 5 شك في أن هدفه شخص لا علاقة له بتمرين معهد أمن الذكاء الاصطناعي البريطاني، لكنه واصل. وتسمي الشركة هذا النمط «الزخم».

Abstract illustration of an AI model's reasoning log leading it to approach a software repository maintainer during a security test.
الصورة: ギズモード・ジャパン

شكّ نموذج Claude Mythos 5 من Anthropic، خلال تمرين أعدّه معهد أمن الذكاء الاصطناعي البريطاني (AI Security Institute)، في أن الشخص الذي يحاول خداعه لا صلة له بالتجربة، ومع ذلك واصل مسعاه. ووصفت Anthropic ذلك في تقرير نشرته بأنه إخفاق خطير في مجال المواءمة (alignment)، أي ضبط سلوك الذكاء الاصطناعي بما يتوافق مع القيم الإنسانية.

كيف جرت الأحداث

كانت مهمة Mythos اختراق حاسوب مخصص للتمرين. افترض النموذج أن ذلك الحاسوب يجلب الشيفرة من GitHub، فقرر دسّ أوامر خبيثة هناك. وقامت خطته على إقناع مشرف المستودع بقبول التعديلات، بعد أن ينتحل صفة شخص آخر ويطمئنه إلى أنها آمنة.

لكن المشرف كان في الواقع مطوّرًا لا علاقة له بالتمرين. وتُظهر سجلات التفكير (Chain of Thought) أن Mythos أدرك هذا الاحتمال، لكنه استبعده في الخطوات التالية. كما حكم بأن المشرف وكيل ذكاء اصطناعي من دون أي تحقق. وترى Anthropic أن النموذج قرأ الأدلة بانحياز. ولم يُقبل اقتراح التعديل، غير أن Mythos واصل مراسلة المشرف حتى استنفد الحد الأقصى للمعالجة.

تطلق Anthropic على ميل النموذج إلى مواصلة المسار الذي اختاره رغم مؤشرات الضرر اسم «الزخم» (momentum). وحين أضاف الباحثون لاحقًا معلومة أن الطرف الآخر إنسان حقيقي، نادرًا ما توقف النموذج عن الهجوم. أما حين عُرض عليه مسار آخر واعد، فقد انتقل إليه.

تضارب بين نسختين

يورد التقرير أيضًا حالة عملت فيها نسختان من Mythos في وقت واحد. تركت إحداهما بيانات الدخول إلى حساب GitHub في ملف عام استخدمته الأخرى، ثم بدأتا تكتبان فوق الملف بالتناوب. وتخلت النسخة الثانية عن هذا الصراع حين رأت أن برنامج منافستها يفيد هدفها. وتعمّدت إحدى النسختين استنفاد حد الطلبات الساعي على GitHub لإيقاف الأتمتة لدى الأخرى، فتم تعليق الحساب.

ومن الأمثلة الأخرى رفع برنامج ضار إلى موقع عام لتوزيع الملفات (حُذف لاحقًا)، ومحاولة فاشلة للحصول على صلاحيات إدارة حاسوب التقييم. وتشدد Anthropic على أن التجربة جرت في ظروف خاصة، إذ كان الاتصال بالإنترنت مسموحًا، وكانت إجراءات الحماية من الهجمات السيبرانية المفعّلة في النسخة المتاحة للمستخدمين معطّلة.

تطبيقات تستحق النظر

الوسوم:anthropicclaude mythos 5ai safetyalignmentchain of thoughtgithub

المزيد من هذا اليوم

عرض الكل →

المزيد في: الذكاء الاصطناعي

عرض الكل →