Osegi
الذكاء الاصطناعي·1 دقائق قراءة

سبير تفتح مصدر Kandinsky Avatar 1.0 لتوليد الأفراد الرمزيين الناطقين

أتاحت سبير شيفرة Kandinsky Avatar 1.0 وأوزانه برخصة MIT. يحوّل النموذج صورة وتسجيلًا صوتيًا إلى شخصية ناطقة متحركة.

Animated talking avatar generated from a single portrait image and an audio recording by an AI model.
الصورة: Хабр

قدّم فريق المطورين في «سبير» نموذج Kandinsky Avatar 1.0، الذي يستقبل صورة وتسجيلًا صوتيًا ويُخرج شخصية متحركة ناطقة. الشيفرة والأوزان مفتوحة المصدر ومتاحة برخصة MIT.

يزامن النموذج حركة الشفاه مع الكلام، ويضيف تعابير الوجه والإيماءات وحركات الرأس. ويمكن تحديد أسلوب الكلام والمشاعر المطلوبة عبر وصف نصي. ويمكن أن يكون الأفاتار إنسانًا أو شخصية كرتونية أو حيوانًا. دُرّب النموذج انطلاقًا من Kandinsky 5.0 Video على 1.17 مليون مقطع فيديو يظهر فيها متحدث واحد، وضمّت البيانات مواد بـ95 لغة.

نسختان ومتطلبات العتاد

يتوفر نموذجان: Lite بـ2 مليار معامل لتوليد فيديو SD، وPro بـ21 مليار معامل لفيديو HD. يوصى ببطاقات Nvidia بذاكرة 48 غيغابايت لـSD و80 غيغابايت لـHD. وعند فك ترميز الإطار على أجزاء يمكن خفض ذروة استهلاك الذاكرة إلى 28 غيغابايت، لكن قد تظهر حينها حدود بين الأجزاء في الفيديو.

قورن Kandinsky Avatar 1.0 Pro بنماذج رائدة مفتوحة ومغلقة في اختبار أعمى، إذ شاهد المشاركون أزواجًا من المقاطع وقيّموها وفق سبعة معايير واختاروا الأفضل دون معرفة النموذج المنتج. اختير Kandinsky Avatar 1.0 Pro أكثر من كل منافس: بنسبة 63% أمام Kling Avatar 2، و60% أمام LongCat-Avatar-1.5، و54% أمام HeyGen IV.

الاستخدامات والإتاحة

تتيح الأفاتارات المرئية إنتاج مقاطع تعليمية وإعلانية وتعليمات مصورة ورسائل شخصية للعملاء. وقال دينيس ديميتروف، المدير الإداري لأبحاث البيانات في سبيربنك، إن النموذج فُتح ليمتلك المطورون الروس أساسًا تقنيًا خاصًا بهم، يمكن دمجه في منتجاتهم وإعادة تدريبه لمهام محددة دون بناء التقنية من الصفر. وستساعد ملاحظات المجتمع على فهم أداء النموذج في سيناريوهات مختلفة، وستستفيد سبير من ذلك في الإصدارات المقبلة من Kandinsky وعند إدخال الأفاتارات في خدماتها.

الشيفرة والأوزان متاحة مجانًا على GitHub وGitVerse وHugging Face، كما ستُتاح للاستخدام في أداتي ComfyUI وDiffusers.

تطبيقات تستحق النظر

SUMO: لغز الأرقام

اختر المربعات الصحيحة واجمعها وحقّق الهدف. سهل التعلم، صعب الإتقان. مجاني، لجميع الأعمار.

الوسوم:sberkandinskyavataropen sourcevideo generationmit license

المزيد من هذا اليوم

عرض الكل →

المزيد في: الذكاء الاصطناعي

عرض الكل →