Osegi
الذكاء الاصطناعي·1 دقائق قراءة

سبير تتيح Kandinsky Avatar 1.0 مفتوح المصدر لصناعة أفاتار ناطق

فتحت سبير الوصول إلى Kandinsky Avatar 1.0، وهي عائلة نماذج تحوّل صورة وتسجيلًا صوتيًا إلى أفاتار فيديو ناطق تصل مدته إلى دقيقة.

A realistic digital avatar of a speaking person generated from a photo and voice recording by a neural network.
الصورة: rb.ru

فتحت شركة سبير (Sber) الوصول إلى Kandinsky Avatar 1.0، وهي عائلة من الشبكات العصبية تنشئ أفاتار فيديو ناطقًا انطلاقًا من صورة وتسجيل صوتي. وبحسب الشركة، تولّد النماذج مقاطع تصل مدتها إلى دقيقة واحدة بمعدل 24 إطارًا في الثانية. وتزامن التقنية حركة الشفاه مع الكلام، وتضيف بنفسها تعابير الوجه وحركات الرأس والإيماءات.

ترخيص MIT ومنصات متعددة

نُشر كود النماذج وأوزانها بترخيص MIT المفتوح على GitHub وGitVerse وHugging Face. ويمكن للمطورين تنزيلها مجانًا واستخدامها في مشاريعهم الخاصة، بما فيها التجارية. وتخطط سبير أيضًا لدعم التكامل مع أدوات شائعة للعمل مع الشبكات العصبية الخارجية، ولإدخال الأفاتار المرئي في خدماتها.

لإنشاء المقطع يحتاج المستخدم إلى صورة وتسجيل صوتي ووصف نصي قصير للمشهد. ويمكن تحديد الحالة العاطفية للشخصية بأمر نصي، كالفرح أو الحزن أو الغضب. ويُعاد الكلام بلغة التسجيل الأصلي. لكن Kandinsky Avatar لا يولّد الصوت ولا يستنسخه، إذ يجب على المستخدم توفير الصورة والمسار الصوتي بنفسه.

إصداران: Pro وLite

طُوّر النموذج على أساس Kandinsky 5.0 Video، ويتوفر بإصدارين. ينتج إصدار Pro فيديو بدقة HD، ووفق مقارنات داخلية أجرتها سبير فإن جودته تعادل خدمة HeyGen التجارية وتتفوق على البدائل المفتوحة التي جرى اختبارها. أما Lite فمخصص للعتاد الأقل قوة ويعمل على بطاقة رسومات منزلية، لكنه ينتج مقاطع بدقة SD.

ودُرّبت النماذج على أكثر من مليون مقطع فيديو من مقابلات وكلمات وبودكاست بـ95 لغة، منها الروسية والإنجليزية والكازاخية والإسبانية والفرنسية.

وتشمل الاستخدامات المقترحة خدمات المدونين والمنصات التعليمية والمستشارين الافتراضيين وتوطين الفيديو بمزامنة حركة الشفاه والألعاب والرسوم المتحركة والبطاقات المرئية الشخصية.

وقال دينيس ديميتروف، المدير الإداري لأبحاث البيانات في سبيربنك، إن الشركة تفتح النموذج ليملك المطورون الروس أساسًا تقنيًا خاصًا بهم يمكن دمجه في منتجاتهم وإعادة تدريبه لمهام محددة دون بناء التقنية من الصفر. وتعتزم الشركة الاستفادة من ملاحظات المطورين في الإصدارات المقبلة من Kandinsky.

تطبيقات تستحق النظر

SUMO: لغز الأرقام

اختر المربعات الصحيحة واجمعها وحقّق الهدف. سهل التعلم، صعب الإتقان. مجاني، لجميع الأعمار.

الوسوم:sberkandinsky avataropen sourcevideo generationhugging faceavatars

المزيد من هذا اليوم

عرض الكل →

المزيد في: الذكاء الاصطناعي

عرض الكل →