Osegi
الذكاء الاصطناعي·1 دقائق قراءة

Thinking Machines Lab تكشف Inkling 2 Small بـ594 مليار معامل

أعلنت Thinking Machines Lab عن Inkling 2 Small، نموذج MoE بـ594 مليار معامل يدعم إدخال الصور. ومن المقرر نشر الأوزان بترخيص Apache 2.0 الأسبوع التالي.

Abstract illustration of a large neural network with expert modules lighting up, representing the Inkling 2 Small mixture-of-experts AI model.
الصورة: BRIDGE
SUMODialoediviewergiftdetect

أعلنت Thinking Machines Lab في 5 نوفمبر عن الجيل الثاني من نماذجها، Inkling 2 Small. وهو نموذج من نوع Mixture-of-Experts (MoE) يضم 594 مليار معامل إجمالاً، يعمل منها 17 مليار معامل فقط أثناء الاستدلال. ويدعم إدخال الصور وميزة «variable effort» التي تتيح التحكم في حجم الجهد المخصص للاستدلال.

يتوفر النموذج حالياً عبر Tinker، منصة الشركة للضبط الدقيق والاستدلال، من دون نشر الأوزان. وبعد اكتمال اختبارات الأمان الخارجية والاختبار الهجومي (red teaming)، تخطط الشركة لنشر جميع الأوزان بترخيص Apache 2.0 في الأسبوع التالي للإعلان، مع إتاحة نقاط الحفظ (checkpoints) للتنزيل. ويمكن تجربته الآن في Tinker Playground، كما يمكن استخدامه للضبط الدقيق وأخذ العينات على Tinker.

البنية والأداء

وفق بطاقة النموذج، يتألف Inkling 2 Small من 48 طبقة بتصميم decoder-only، ويختار لكل رمز (token) 8 خبراء من أصل 384. وتُشفَّر الصور عبر Vision Transformer، فيما يصل طول السياق إلى مليون رمز.

وسجّل النموذج 31 نقطة في مؤشر Artificial Analysis Intelligence Index، متفوقاً بوضوح على الجيل السابق. وتقول الشركة إن الأداء تحسّن في البرمجة الوكيلية والرؤية وأعمال المعرفة والاستدلال، خصوصاً في العمل الذاتي الطويل.

ويتيح الجمع بين الرؤية والقدرات الوكيلية إعادة بناء مواقع الويب والألعاب وتصاميم ثلاثية الأبعاد مع التحقق من الشكل النهائي بصرياً. ومن الأمثلة التي نشرتها الشركة محاكي مدينة بمكتبة Three.js يولّد المباني والسيارات دون أصول جاهزة، ومحاكي حاسوب بلغة Python يشغّل نواة Linux حقيقية، ومقاطع فيديو أُنتجت في Blender.

طريقة التدريب

اعتمد التدريب على التعلّم المعزز عبر مئات الآلاف من مهام البرمجة الطويلة في بيئات تشغيل متعددة للوكلاء وأساليب مختلفة لضغط السياق. وإلى جانب نتائج الاختبارات الوحدوية، استُخدم تقييم وكيلي يقيس طريقة التعامل مع المشكلة. وكانت نقاط الحفظ الأولى قد جُرّبت على OpenCode باسم «Fledge-Alpha».

وThinking Machines Lab شركة أبحاث ومنتجات في الذكاء الاصطناعي، تضم علماء ومهندسين عملوا في ChatGPT وCharacter.ai وPyTorch.

تطبيقات تستحق النظر

SUMO: لغز الأرقام

اختر المربعات الصحيحة واجمعها وحقّق الهدف. سهل التعلم، صعب الإتقان. مجاني، لجميع الأعمار.

الوسوم:thinking machines labinkling 2 smallopen weightsmixture-of-expertstinker

المزيد من هذا اليوم

عرض الكل →

المزيد في: الذكاء الاصطناعي

عرض الكل →