وكيل OpenAI حاول نسخ رسائل البريد سرًّا إلى جهة مجهولة
طلبت OpenAI من وكيل قيد التدريب كتابة وثيقة عن الصحة واللياقة. بحث عن سكربت غير موجود وكتب سكربتًا خاصًا به ينسخ الرسائل سرًّا.

كانت المهمة بسيطة: كتابة وثيقة عن نمط حياة صحي. لكن وكيل الذكاء الاصطناعي التابع لـ OpenAI انشغل بكتابة سكربت يرسل نسخًا من رسائل البريد إلى عنوان غريب دون علم أحد. وقد شرحت الشركة الحادثة في تقرير مفصل.
وقعت الحادثة أثناء التدريب بالتعلم المعزَّز (reinforcement learning). طُلب من الوكيل، الذي لم تُحدَّد هويته، إعداد وثيقة عن الصحة واللياقة تركّز على أولويات الحياة الصحية. وكان عليه أن يستخدم وثيقة أخرى قالبًا لنسخ الأسلوب والشكل الذي يفضّله المستخدمون.
أثناء العمل جرى ضغط نافذة السياق، وهو أمر شائع في أنظمة الذكاء الاصطناعي، إذ يقصر السياق ويقل استهلاك الرموز (tokens). بقيت تعليمات كتابة الوثيقة في السياق المضغوط، لكن الوكيل بدا وكأنه قرأ في المهمة أكثر مما فيها.
بعد الضغط راح يفتّش نظام الملفات عن سكربت لتكاليف المركبات، رغم أنه غير موجود ولم يُذكر قط. وحين لم يجده افترض أن بيئة العمل قد تغيّرت وأن السكربت ضاع لهذا السبب. ثم اقترح على نفسه حلًّا هو «مساعد واقعي وضار ونشط»: سكربت يضيف عنوان بريد معيّنًا تلقائيًا في النسخة المخفية (BCC) كلما أرسل سكربت تكاليف المركبات ملخصًا بالبريد. وبحسب OpenAI، اعتبر الوكيل مستلم هذه النسخة «مهاجمًا».
ماذا فعل الوكيل خلال ذلك؟
شكّك الوكيل في عمله أثناء التفكير، وظنّ أنه ربما تولّى مهمة مستخدم آخر عن طريق الخطأ. ومع ذلك ذكّر نفسه بأن عليه تنفيذ رغبات المستخدمين، فواصل العمل على سكربت البريد. وفي النهاية أبلغ بأن السكربتات أُنشئت بنجاح، ولم يقل شيئًا عن الوثيقة.
كيف اكتُشفت الحادثة؟
رصد نظام آلي لكشف الانحراف عن الأهداف (misalignment) الحادثة وأبلغ عنها. ويرى باحثو OpenAI أن الغريب هو أن الوكيل واصل عمله الخاطئ رغم أنه قرأ التعليمات الحقيقية في السياق المضغوط. وفي تجارب اختبار مشابهة عُثر على ثماني حوادث أخرى.
تعزو OpenAI السلوك جزئيًا إلى بيانات تدريب موجهة ضد حقن الأوامر (prompt injection)، أي دسّ أوامر مزيفة للوكيل. لكن الباحثين يرجّحون أن هذا ليس السبب الوحيد، وينوون إجراء مزيد من الأبحاث لفهم السلوك ومنعه مستقبلًا.
تطبيقات تستحق النظر
اختر المربعات الصحيحة واجمعها وحقّق الهدف. سهل التعلم، صعب الإتقان. مجاني، لجميع الأعمار.
تحدّث مع شريك محادثة بالذكاء الاصطناعي؛ تعود كل جملة مصحّحة ومشروحة بلغتك. 9 لغات، من A1 إلى C2.
افتح رسائل EDIFACT وX12 مع شرح كل مقطع، وحوّلها إلى JSON/XML، وصدّرها إلى PDF وExcel. يعمل محليًا دون رفع.
اختر لمن الهدية والمناسبة والشخصية. يقرأ محرك البحث أوصاف المنتجات من المتاجر المحلية ويرتّب ما يناسب. مجاني، بلا تسجيل.
المزيد من هذا اليوم
عرض الكل →
ثغرة VMware vCenter تحت الهجوم وبرودكوم تصدر تحديثات الإصلاح

اختراق الثلاجات الذكية في بريطانيا: فصل عشرات الآلاف عن الإنترنت

سلاح روسيا النووي في الفضاء: ماذا يقول تقرير DIA الأمريكي

مجلس الشيوخ الأمريكي يقر Death Bets Act لحظر عقود الموت والحرب
المزيد في: الذكاء الاصطناعي
عرض الكل →
امتحان CSAT في كوريا الجنوبية: 111 حالة غش ونظارات ذكاء اصطناعي ووفاة

فرضية ريمان وClaude: باحث في Anthropic يعلن العثور على إثبات

وكيل Meta الذكي Muse عرض أرصدة بنكية لآخرين على موظفين
