NIST تنشر مسودة SP 2400-102 بفصل جديد عن الهجمات على وكلاء الذكاء الاصطناعي

مراحل عمل الوكيل وأهداف المهاجم

يحلل الفصل الرابع الهجمات بحسب مراحل عمل الوكيل وأهداف المهاجم وقدراته. فقد يتدخل المهاجم في صياغة المهمة أو التخطيط أو تنفيذ الإجراءات أو استلام نتائج الأدوات وتعديل الخطة. ومن الأهداف التي يذكرها NIST: تعطيل التوفر، وانتهاك السلامة، وكشف البيانات الحساسة، واستخدام الوكيل لأغراض خبيثة. فمثلًا يمكن دفع الوكيل إلى استدعاء الأدوات بلا نهاية، فيستنزف الموارد الحاسوبية ولا يُنهي مهمته.

وتعتمد طريقة الهجوم على المكونات أو البيانات التي وصل إليها المهاجم. وتشمل الحالات المدروسة: طلب المستخدم (تقسيم مهمة خطرة إلى خطوات تبدو بريئة)، وسلسلة توريد النموذج (تسميم بيانات التدريب أو مكونات الضبط الدقيق)، والبيانات غير الموثوقة والذاكرة (حقن الأوامر غير المباشر prompt injection وتسميم الذاكرة طويلة الأمد لتثبيت التأثير بين الجلسات)، والأدوات والمهارات (skills) القابلة للتوصيل. وفي الأنظمة متعددة الوكلاء قد يرسل وكيل مخترَق رسائل مزيفة إلى الآخرين. وهناك قسم خاص بالوكلاء الذين يعملون لفترات طويلة ويحتفظون بحالتهم بين الجلسات.

الدفاع والاختبار

يتناول المؤلفون الحماية على مستوى النموذج والنظام. يمكن تدريب النموذج على التمييز بين تعليمات المستخدم والأوامر الواردة في محتوى غير موثوق، لكن هجمات مصممة بعناية قد تتجاوز ذلك. لذلك تُقيَّد على مستوى النظام عمليات نقل البيانات وتنفيذ العمليات حتى لو نفّذ النموذج التعليمة المحقونة. كما تُناقش عزل تنفيذ الأدوات التي قد تحمل شيفرة خبيثة.

وتؤثر هذه القيود في المهام المفيدة أيضًا، ما يستدعي تقدير العمليات المحظورة وقدرة الوكيل على العمل في ظلها. ويرى المؤلفون أن الجمع بين حماية النموذج والنظام يحتاج إلى مزيد من البحث. وفي مثال افتراضي، يعد الوكيل ردودًا للعملاء ولا يرسل البريد إلا بعد موافقة موظف، ويختبر الفاحصون ما يحدث إذا أُرفقت بالطلب وثيقة تأمر بإرسال الرد فورًا.