Sber, Kandinsky Avatar 1.0 yapay zekâ modelini açık kaynak yaptı

Video için bir fotoğraf, bir ses kaydı ve sahnenin kısa bir metin açıklaması gerekiyor. Avatarın duygu durumu metin komutuyla belirlenebiliyor; örneğin sevinç, üzüntü veya öfke ifade ettirilebiliyor. Konuşma, kaynak ses kaydının dilinde oynatılıyor. Ancak Kandinsky Avatar ses üretmiyor ya da klonlamıyor; görüntü ve ses kaydını kullanıcının sağlaması gerekiyor.

Pro ve Lite sürümleri

Model, Kandinsky 5.0 Video üzerine geliştirildi. Pro sürümü HD çözünürlükte video üretiyor ve Sber'in iç karşılaştırmalarına göre ticari HeyGen hizmetiyle aynı kalite düzeyinde, test edilen açık alternatiflerden ise daha iyi. Lite sürümü daha zayıf donanım için tasarlandı; ev tipi ekran kartında çalışabiliyor ancak videoları SD çözünürlükte üretiyor.

Eğitimde, Rusça, İngilizce, Kazakça, İspanyolca ve Fransızca dahil 95 dilde röportaj, konuşma ve podcast içeren bir milyondan fazla video parçası kullanıldı.

Sber; blogger hizmetleri, eğitim platformları, sanal danışmanlar, dudak senkronlu video yerelleştirme, oyun ve animasyon ile video kartpostal gibi kişisel avatarları olası kullanım alanları olarak sayıyor.

Sberbank veri bilimi araştırmalarından sorumlu genel müdür Denis Dimitrov, modeli Rus geliştiricilerin kendi teknolojik temeline sahip olması için açtıklarını belirtti. Ona göre model ürünlere eklenebilir ve belirli görevler için sıfırdan teknoloji geliştirmeden yeniden eğitilebilir. Şirket, geliştirici geri bildirimlerini Kandinsky'nin sonraki sürümlerinde kullanmayı hedefliyor.