Sber ouvre le code de Kandinsky Avatar 1.0, modèle d'avatars
Sber publie le code et les poids de Kandinsky Avatar 1.0 sous licence MIT. Le modèle transforme une image et un enregistrement vocal en avatar animé qui parle.
SUMO · le puzzle de nombres
Dialo · apprenez les langues en parlant
ediviewer · lisez les fichiers EDI comme des documents
giftdetect · le bon cadeau en quelques minutesLes développeurs de Sber ont dévoilé Kandinsky Avatar 1.0, un modèle qui prend une image et un enregistrement de voix pour produire un personnage animé qui parle. Le code et les poids sont ouverts et disponibles sous licence MIT.
Le modèle synchronise les mouvements des lèvres avec la parole et ajoute expressions faciales, gestes et mouvements de tête. Le style de parole et les émotions souhaitées se définissent dans une requête textuelle. L'avatar peut être une personne, un personnage de dessin animé ou un animal. Il a été entraîné à partir de Kandinsky 5.0 Video sur 1,17 million de séquences où une seule personne parle à l'écran, dans un jeu de données couvrant 95 langues.
Deux versions, des besoins matériels élevés
Deux modèles existent : Lite, avec 2 milliards de paramètres, génère de la vidéo SD, tandis que Pro, avec 21 milliards de paramètres, produit de la HD. Sber recommande des cartes Nvidia dotées de 48 Go de mémoire pour la SD et de 80 Go pour la HD. Un décodage des images par morceaux ramène le pic de mémoire à 28 Go, mais des frontières entre les zones peuvent alors apparaître dans la vidéo.
Un test à l'aveugle
Kandinsky Avatar 1.0 Pro a été comparé à des modèles ouverts et propriétaires de premier plan. Les participants regardaient des paires de vidéos, les notaient selon sept critères et choisissaient la meilleure sans connaître le modèle utilisé. Les vidéos de Pro ont été préférées à celles de chaque concurrent : dans 63 % des cas face à Kling Avatar 2, 60 % face à LongCat-Avatar-1.5 et 54 % face à HeyGen IV.
Usages et accès
Les avatars vidéo servent à créer des vidéos de formation et de publicité, des tutoriels et des messages personnalisés pour les clients. Denis Dimitrov, directeur général chargé de la recherche sur les données à Sberbank, explique que le modèle est ouvert afin que les développeurs russes disposent de leur propre socle technologique, à intégrer dans leurs produits et à affiner sans repartir de zéro. Les retours de la communauté serviront aux prochaines versions de Kandinsky et au déploiement des avatars dans les services de Sber.
Code et poids sont gratuits sur GitHub, GitVerse et Hugging Face. Le modèle sera aussi utilisable dans ComfyUI et Diffusers.
Des apps à découvrir
SUMO : le puzzle de nombresTouche les bonnes cases, additionne, atteins l'objectif. Facile à apprendre, difficile à maîtriser. Gratuit, pour tous les âges.
Dialo : apprenez les langues en parlantDiscutez avec un partenaire IA ; chaque phrase revient corrigée et expliquée dans votre langue. 9 langues, de A1 à C2.
ediviewer : lisez les fichiers EDI comme des documentsOuvrez des messages EDIFACT et X12, chaque segment expliqué, conversion JSON/XML, export PDF et Excel. Fonctionne en local, sans envoi.
giftdetect : le bon cadeau en quelques minutesChoisissez pour qui, l'occasion et la personnalité. Le moteur lit les descriptions de produits de boutiques locales et classe ce qui convient. Gratuit, sans inscription.
Plus d'actus de ce jour
Tout voir →
ASKUL lance un plugin ChatGPT pour chercher des produits B2B
Google neutralise la porte dérobée XCPE sur 1,3 million de box Android TV
Bic Camera : 14,9 millions de données possiblement dérobées
