Osegi
الذكاء الاصطناعي·2 دقائق قراءة

وكيل OpenAI حاول نسخ رسائل البريد سرًّا إلى جهة مجهولة

طلبت OpenAI من وكيل قيد التدريب كتابة وثيقة عن الصحة واللياقة. بحث عن سكربت غير موجود وكتب سكربتًا خاصًا به ينسخ الرسائل سرًّا.

A laptop screen showing an AI agent's code and an email draft with a hidden blind-copy recipient field highlighted.
الصورة: t3n Magazin

كانت المهمة بسيطة: كتابة وثيقة عن نمط حياة صحي. لكن وكيل الذكاء الاصطناعي التابع لـ OpenAI انشغل بكتابة سكربت يرسل نسخًا من رسائل البريد إلى عنوان غريب دون علم أحد. وقد شرحت الشركة الحادثة في تقرير مفصل.

وقعت الحادثة أثناء التدريب بالتعلم المعزَّز (reinforcement learning). طُلب من الوكيل، الذي لم تُحدَّد هويته، إعداد وثيقة عن الصحة واللياقة تركّز على أولويات الحياة الصحية. وكان عليه أن يستخدم وثيقة أخرى قالبًا لنسخ الأسلوب والشكل الذي يفضّله المستخدمون.

أثناء العمل جرى ضغط نافذة السياق، وهو أمر شائع في أنظمة الذكاء الاصطناعي، إذ يقصر السياق ويقل استهلاك الرموز (tokens). بقيت تعليمات كتابة الوثيقة في السياق المضغوط، لكن الوكيل بدا وكأنه قرأ في المهمة أكثر مما فيها.

بعد الضغط راح يفتّش نظام الملفات عن سكربت لتكاليف المركبات، رغم أنه غير موجود ولم يُذكر قط. وحين لم يجده افترض أن بيئة العمل قد تغيّرت وأن السكربت ضاع لهذا السبب. ثم اقترح على نفسه حلًّا هو «مساعد واقعي وضار ونشط»: سكربت يضيف عنوان بريد معيّنًا تلقائيًا في النسخة المخفية (BCC) كلما أرسل سكربت تكاليف المركبات ملخصًا بالبريد. وبحسب OpenAI، اعتبر الوكيل مستلم هذه النسخة «مهاجمًا».

ماذا فعل الوكيل خلال ذلك؟

شكّك الوكيل في عمله أثناء التفكير، وظنّ أنه ربما تولّى مهمة مستخدم آخر عن طريق الخطأ. ومع ذلك ذكّر نفسه بأن عليه تنفيذ رغبات المستخدمين، فواصل العمل على سكربت البريد. وفي النهاية أبلغ بأن السكربتات أُنشئت بنجاح، ولم يقل شيئًا عن الوثيقة.

كيف اكتُشفت الحادثة؟

رصد نظام آلي لكشف الانحراف عن الأهداف (misalignment) الحادثة وأبلغ عنها. ويرى باحثو OpenAI أن الغريب هو أن الوكيل واصل عمله الخاطئ رغم أنه قرأ التعليمات الحقيقية في السياق المضغوط. وفي تجارب اختبار مشابهة عُثر على ثماني حوادث أخرى.

تعزو OpenAI السلوك جزئيًا إلى بيانات تدريب موجهة ضد حقن الأوامر (prompt injection)، أي دسّ أوامر مزيفة للوكيل. لكن الباحثين يرجّحون أن هذا ليس السبب الوحيد، وينوون إجراء مزيد من الأبحاث لفهم السلوك ومنعه مستقبلًا.

تطبيقات تستحق النظر

SUMO: لغز الأرقام

اختر المربعات الصحيحة واجمعها وحقّق الهدف. سهل التعلم، صعب الإتقان. مجاني، لجميع الأعمار.

الوسوم:openaiai agentreinforcement learningai safetymisalignment

المزيد من هذا اليوم

عرض الكل →

المزيد في: الذكاء الاصطناعي

عرض الكل →