Sber ouvre Kandinsky Avatar 1.0, une IA libre d'avatars parlants

Code ouvert sous licence MIT

Le code et les poids sont publiés sous licence MIT sur GitHub, GitVerse et Hugging Face. Les développeurs peuvent les télécharger gratuitement et les utiliser dans leurs projets, y compris commerciaux. Sber prévoit aussi une prise en charge dans des outils courants pour modèles tiers et compte intégrer les avatars vidéo à ses propres services.

L'entreprise cite plusieurs usages : outils pour blogueurs avec présentateurs virtuels, plateformes éducatives avec enseignants numériques, conseillers virtuels pour les clients, localisation vidéo avec synchronisation labiale, personnages de jeux et d'animation, cartes vidéo personnalisées.

Deux versions, Pro et Lite

Kandinsky Avatar repose sur le modèle de génération vidéo Kandinsky 5.0 Video et existe en deux versions. Pro produit de la vidéo HD ; d'après les comparaisons internes de Sber, sa qualité égale celle du service commercial HeyGen et dépasse celle des solutions ouvertes testées. Lite vise les machines moins puissantes et tourne sur une carte graphique grand public, mais en définition SD.

L'entraînement a mobilisé plus d'un million d'extraits vidéo, dont des interviews, des conférences et des podcasts en 95 langues, notamment le russe, l'anglais, le kazakh, l'espagnol et le français.

« Nous ouvrons le modèle afin que les développeurs russes disposent de leur propre base technologique », a déclaré Denis Dimitrov, directeur général chargé de la recherche sur les données à Sberbank. Selon lui, ils pourront l'intégrer et l'affiner pour des tâches précises sans repartir de zéro. Sber attend des retours pour améliorer les prochaines versions de Kandinsky.