Сбер открыл Kandinsky Avatar 1.0 — нейросеть для говорящих аватаров

Для ролика нужны фотография, аудиозапись и короткое текстовое описание сцены. Эмоции персонажа — радость, грусть или злость — задаются текстовой командой. Речь звучит на языке исходной записи. При этом Kandinsky Avatar не генерирует и не клонирует голос: изображение и звуковую дорожку пользователь предоставляет сам.

Версии Pro и Lite

Модель создана на основе Kandinsky 5.0 Video и выпущена в двух вариантах. Pro формирует видео в HD-разрешении и, по внутренним сравнениям Сбера, не уступает по качеству коммерческому сервису HeyGen и превосходит протестированные открытые аналоги. Lite рассчитана на менее мощное оборудование и запускается на домашней видеокарте, но создаёт ролики в SD.

Обучали модели на более чем миллионе видеофрагментов — интервью, выступлений и подкастов на 95 языках, в том числе русском, английском, казахском, испанском и французском.

Среди сценариев применения — сервисы для блогеров, образовательные платформы, виртуальные консультанты, локализация видео с синхронизацией артикуляции, игры и анимация, а также видеооткрытки и личные обращения.

«Мы открываем модель, чтобы у российских разработчиков была собственная технологическая основа для таких решений. Её можно встраивать в свои продукты и дообучать под конкретные задачи, не создавая технологию с нуля», — заявил управляющий директор по исследованию данных Сбербанка Денис Димитров. Компания рассчитывает использовать обратную связь разработчиков в следующих версиях Kandinsky.