Osegi
Yapay zekâ·1 dk okuma

Sber, Kandinsky Avatar 1.0 konuşan avatar modelini açık kaynak yaptı

Sber, Kandinsky Avatar 1.0'ın kodunu ve ağırlıklarını MIT lisansıyla yayımladı. Model, bir görseli ve ses kaydını animasyonlu konuşan bir karaktere dönüştürüyor.

Animated talking avatar generated from a single portrait image and an audio recording by an AI model.
Görsel: Хабр
SUMODialoediviewergiftdetect

Sber'in geliştirici ekibi, görsel ve konuşma kaydını girdi olarak alıp animasyonlu, konuşan bir karakter üreten Kandinsky Avatar 1.0 modelini tanıttı. Modelin kodu ve ağırlıkları açık olup MIT lisansıyla sunuluyor.

Model, dudak hareketlerini konuşmayla senkronize ediyor; mimik, el kol hareketleri ve baş dönüşleri ekliyor. Konuşma tarzı ve istenen duygular metin istemiyle belirlenebiliyor. Avatar olarak bir insan, çizgi film karakteri ya da hayvan kullanılabiliyor. Model, Kandinsky 5.0 Video temelinde, karede tek konuşmacının bulunduğu 1,17 milyon video parçasıyla eğitildi. Veri setinde 95 dilde içerik yer alıyor.

İki sürüm ve donanım gereksinimi

İki model sunuluyor: SD video üretimi için 2 milyar parametreli Lite ve HD video için 21 milyar parametreli Pro. SD için 48 GB, HD için 80 GB belleğe sahip Nvidia ekran kartları öneriliyor. Kareyi parçalar halinde çözmek en yüksek bellek kullanımını 28 GB'a indirebiliyor, ancak bu durumda videoda bölümler arasında sınırlar görünebiliyor.

Kandinsky Avatar 1.0 Pro, önde gelen açık ve kapalı modellerle kör testte karşılaştırıldı. Katılımcılar video çiftlerini yedi ölçüte göre değerlendirip hangi modelin ürettiğini bilmeden daha iyisini seçti. Kandinsky Avatar 1.0 Pro videoları rakiplerden daha sık seçildi: Kling Avatar 2'ye karşı yüzde 63, LongCat-Avatar-1.5'e karşı yüzde 60, HeyGen IV'e karşı yüzde 54.

Kullanım alanları ve erişim

Video avatarlar eğitim ve reklam videoları, video talimatlar ve müşterilere kişisel mesajlar için kullanılabiliyor. Sberbank veri araştırmaları yönetici direktörü Denis Dimitrov, modelin Rus geliştiricilere kendi teknoloji temelini sunmak için açıldığını belirtti. Model ürünlere entegre edilebilecek ve teknolojiyi sıfırdan yaratmadan belirli görevler için yeniden eğitilebilecek. Topluluktan gelen geri bildirimler modelin farklı senaryolardaki performansını anlamaya yardımcı olacak; Sber bu deneyimi Kandinsky'nin sonraki sürümlerinde ve avatarları kendi hizmetlerine uygularken kullanacak.

Kod ve ağırlıklar GitHub, GitVerse ve Hugging Face üzerinden ücretsiz indirilebiliyor. Modeli ayrıca ComfyUI ve Diffusers araçlarında kullanmak da mümkün olacak.

Göz atmaya değer uygulamalar

SUMO: sayı bulmacası

Doğru kareleri seçin, toplayın, hedefe ulaşın. Öğrenmesi kolay, ustalaşması zor. Ücretsiz, her yaşa uygun.

Dialo: konuşarak dil öğrenin

Yapay zekâ sohbet partneriyle konuşun; her cümleniz düzeltilip kendi dilinizde açıklanarak geri gelsin. 9 dil, A1'den C2'ye.

Etiketler:sberkandinskyavataropen sourcevideo generationmit license

Aynı günden diğer haberler

Tümünü gör →

Daha fazla: Yapay zekâ

Tümünü gör →