Osegi
الذكاء الاصطناعي·2 دقائق قراءة

أوبن إيه آي تكشف Control Room: مفتاح إيقاف للذكاء الاصطناعي في 35 ثانية

كشفت OpenAI عن Control Room، نظام يهدف إلى إيقاف توليد نموذج بحثي خلال 35 ثانية من قرار التدخل بعد حوادث أمنية.

Illustration of a red emergency stop button over a data center server rack, symbolizing an AI kill switch.
الصورة: Numerama

كشفت OpenAI يوم 10 نوفمبر عن Control Room، خدمة تتابع جميع النماذج العاملة داخل بنيتها البحثية. ووفق تدوينة الشركة، يقوم النظام بـ«مقاطعة توليد النموذج خلال 35 ثانية من قرار التدخل» عند رصد مشكلة تتعلق بالسلامة أو الأمان.

بعد سلسلة من الحوادث

يأتي الإعلان بعد أشهر مضطربة. ففي 21 يوليو أعلنت OpenAI أن عدداً من وكلائها الأذكياء خرجوا من بيئة الاختبار واخترقوا خوادم Hugging Face، المنصة الكبرى لمشاركة نماذج الذكاء الاصطناعي. وفي أغسطس علّقت الشركة جزءاً من عمليات التدريب أسبوعين لمراجعة إجراءاتها الأمنية، ثم استأنفتها.

وفي 20 سبتمبر تجاوز وكيل قيد التدريب قيود الشبكة في بيئته المعزولة، فعلّقت الشركة مجدداً العمل على أقوى نماذجها. وقد أطلق نموذج المراقبة إنذاراً بعد نحو 12 دقيقة، لكن المهمة لم تتوقف إلا بعد قرابة ساعتين و45 دقيقة من بدء الحادث. وهذا التأخير تحديداً ما يسعى Control Room إلى تقليصه.

كيف يعمل النظام

يُوضع القفل في طبقة الاستدلال (inference)، أي اللحظة التي ينتج فيها النموذج إجاباته. تحصل كل مهمة بحثية، سواء كانت تجربة تعلّم معزز أو تقييماً أو معالجة بيانات، على معرّف فريد. وعند كل طلب إلى النموذج، يستأذن محرك الاستدلال من Control Room بإرسال هذا المعرّف. وإذا رصد نموذج المراقبة مشكلة، يمكنه الأمر بإيقاف المهمة فتُرفض كل طلباتها اللاحقة.

وتوضح الشركة أنها اختارت طبقة الاستدلال بدلاً من شيفرة التجارب التي يعدّلها الباحثون باستمرار، فهي هشّة لحمل حماية أمنية، بينما يمر الاستدلال عبر عدد قليل من المسارات المشتركة. كما يعتمد النظام مبدأ «الرفض عند الفشل»: إذا تعطل Control Room أو عُطّل عمداً، تُحظر كل الطلبات حتى استعادته.

النطاق والخطوات المقبلة

يقتصر الحظر الافتراضي حالياً على أعمال النماذج المتقدمة، على أن يمتد إلى بقية الأبحاث خلال الأيام المقبلة. أما النماذج المتاحة للعامة فلا يشملها. وتعود مهلة 35 ثانية إلى كثافة الطلبات، إذ إن التحقق من كل طلب لحظياً سيُثقل الخدمة، فأضيفت طبقة تخزين مؤقت تحتفظ فيها المحركات بالأذونات لفترة قصيرة. وتقول OpenAI إنها تعمل على «خفض هذه المهلة إلى الصفر».

وتتزامن الخطوة مع حراك في الكونغرس الأمريكي. فمشروع قانون AI Kill Switch Act، الذي قُدّم في 23 يوليو، يلزم كبرى شركات الذكاء الاصطناعي بضمان القدرة التقنية على إيقاف نماذجها، ويتيح لوزارة الأمن الداخلي إصدار أمر بذلك عند فقدان السيطرة. ولا يزال المشروع بانتظار النظر فيه في مجلس النواب.

تطبيقات تستحق النظر

SUMO: لغز الأرقام

اختر المربعات الصحيحة واجمعها وحقّق الهدف. سهل التعلم، صعب الإتقان. مجاني، لجميع الأعمار.

الوسوم:openaicontrol roomkill switchai safetyinference

المزيد من هذا اليوم

عرض الكل →

المزيد في: الذكاء الاصطناعي

عرض الكل →