Sber libera el código de Kandinsky Avatar 1.0 para avatares
Sber ha publicado el código y los pesos de Kandinsky Avatar 1.0 con licencia MIT. El modelo convierte una imagen y una grabación de voz en un avatar animado que habla.
SUMO· el puzle de números
Dialo· aprende idiomas hablando
ediviewer· lee archivos EDI como documentos
giftdetect· el regalo adecuado en minutosLos desarrolladores de Sber han presentado Kandinsky Avatar 1.0, un modelo que recibe una imagen y una grabación de voz y genera un personaje animado que habla. El código y los pesos son abiertos y están disponibles bajo licencia MIT.
El modelo sincroniza el movimiento de los labios con el habla y añade expresiones faciales, gestos y giros de cabeza. El estilo de habla y las emociones deseadas se indican en un prompt de texto. El avatar puede ser una persona, un personaje de dibujos animados o un animal. Se entrenó sobre Kandinsky 5.0 Video con 1,17 millones de clips con un solo hablante en pantalla, en un conjunto de datos que abarca 95 idiomas.
Dos versiones y requisitos exigentes
Hay dos modelos: Lite, con 2.000 millones de parámetros, genera vídeo SD, y Pro, con 21.000 millones, genera vídeo HD. Sber recomienda tarjetas Nvidia con 48 GB de memoria para SD y 80 GB para HD. Decodificar el fotograma por partes reduce el pico de memoria a 28 GB, aunque entonces pueden notarse los límites entre secciones en el vídeo.
Prueba a ciegas
Kandinsky Avatar 1.0 Pro se comparó con modelos abiertos y propietarios líderes. Los participantes veían pares de vídeos, los valoraban según siete criterios y elegían el mejor sin saber qué modelo lo había creado. Los clips de Pro se eligieron más que los de cada rival: el 63 % de las veces frente a Kling Avatar 2, el 60 % frente a LongCat-Avatar-1.5 y el 54 % frente a HeyGen IV.
Usos y disponibilidad
Los avatares de vídeo sirven para crear vídeos formativos y publicitarios, instrucciones en vídeo y mensajes personalizados para clientes. Denis Dimítrov, director general de investigación de datos de Sberbank, afirmó que el modelo se abre para que los desarrolladores rusos tengan una base tecnológica propia que puedan integrar en sus productos y ajustar sin crear la tecnología desde cero. Los comentarios de la comunidad se usarán en próximas versiones de Kandinsky y en la incorporación de avatares a los servicios de Sber.
El código y los pesos son gratuitos en GitHub, GitVerse y Hugging Face. El modelo también podrá usarse en ComfyUI y Diffusers.
Apps que merecen la pena
SUMO: el puzle de númerosToca las casillas correctas, suma y alcanza el objetivo. Fácil de aprender, difícil de dominar. Gratis, para todas las edades.
Dialo: aprende idiomas hablandoConversa con un compañero de IA; cada frase vuelve corregida y explicada en tu idioma. 9 idiomas, de A1 a C2.
ediviewer: lee archivos EDI como documentosAbre mensajes EDIFACT y X12, cada segmento explicado, conversión a JSON/XML, exportación a PDF y Excel. Funciona en local, sin subir nada.
giftdetect: el regalo adecuado en minutosElige para quién es, la ocasión y su personalidad. El buscador lee las descripciones de tiendas locales y ordena lo que encaja. Gratis, sin registro.
Más de este día
Ver todas →
ASKUL lanza un plugin de ChatGPT para buscar productos B2B
Google desactiva la puerta trasera XCPE en 1,3 millones de TV box
Bic Camera: posible filtración de 14,9 millones de datos de correo
