Sber abre Kandinsky Avatar 1.0, una IA de código abierto para avatares
Sber abre el acceso a Kandinsky Avatar 1.0, una familia de modelos que convierte una foto y una grabación de voz en avatares de vídeo parlantes de hasta un minuto.
Sber ha abierto el acceso a Kandinsky Avatar 1.0, una familia de redes neuronales que crea avatares de vídeo parlantes a partir de una foto y una grabación de audio. Según la compañía, los modelos generan clips de hasta un minuto a 24 fotogramas por segundo.
El sistema sincroniza el movimiento de los labios con el habla y añade por sí solo gestos faciales, giros de cabeza y ademanes. Para crear un vídeo hacen falta una foto, una pista de audio y una breve descripción de la escena. Las emociones, como alegría, tristeza o enfado, se indican mediante una orden de texto. El habla se reproduce en el idioma de la grabación original. Kandinsky Avatar no genera ni clona voces, así que el usuario debe aportar el audio.
Código abierto con licencia MIT
El código y los pesos están publicados bajo licencia MIT en GitHub, GitVerse y Hugging Face. Los desarrolladores pueden descargarlos gratis y usarlos en sus propios proyectos, incluidos los comerciales. Sber también prevé compatibilidad con herramientas populares para trabajar con redes neuronales de terceros y quiere incorporar los avatares a sus servicios.
La empresa menciona varios usos: herramientas para creadores con presentadores virtuales, plataformas educativas con profesores digitales, asesores virtuales para clientes, localización de vídeo con sincronía labial, personajes para juegos y animación, y felicitaciones en vídeo personalizadas.
Versiones Pro y Lite
Kandinsky Avatar se basa en el modelo de generación de vídeo Kandinsky 5.0 Video y tiene dos versiones. Pro ofrece vídeo en HD; según comparaciones internas de Sber, iguala la calidad del servicio comercial HeyGen y supera a las alternativas abiertas probadas. Lite está pensada para equipos menos potentes y funciona en una tarjeta gráfica doméstica, aunque genera vídeo en resolución SD.
Para el entrenamiento se usaron más de un millón de fragmentos de vídeo, entre ellos entrevistas, charlas y pódcast en 95 idiomas, como ruso, inglés, kazajo, español y francés.
«Abrimos el modelo para que los desarrolladores rusos tengan su propia base tecnológica», afirmó Denis Dimitrov, director general de investigación de datos de Sberbank. Según dijo, podrán integrarlo y ajustarlo a tareas concretas sin crear la tecnología desde cero. Sber espera recibir comentarios para mejorar las próximas versiones de Kandinsky.
Apps que merecen la pena
SUMO: el puzle de númerosToca las casillas correctas, suma y alcanza el objetivo. Fácil de aprender, difícil de dominar. Gratis, para todas las edades.
Dialo: aprende idiomas hablandoConversa con un compañero de IA; cada frase vuelve corregida y explicada en tu idioma. 9 idiomas, de A1 a C2.
ediviewer: lee archivos EDI como documentosAbre mensajes EDIFACT y X12, cada segmento explicado, conversión a JSON/XML, exportación a PDF y Excel. Funciona en local, sin subir nada.
Más de este día
Ver todas →
Vitroscope capta 7 millones de dólares para estudiar tejido humano vivo
Tallia levanta 4 millones de euros para IA en despachos fiscales
Readwise Books: la nueva app que desafía al Kindle y Goodreads
