«Сбер» открыл код и веса Kandinsky Avatar 1.0 для аватаров

Две версии и требования к железу

Доступны две модели: Lite на 2 млрд параметров для SD-видео и Pro на 21 млрд параметров для HD-видео. Рекомендуются видеокарты Nvidia с 48 ГБ памяти для SD и 80 ГБ для HD. Если декодировать кадр по частям, пиковое потребление памяти можно снизить до 28 ГБ, но на видео могут проступать границы между участками.

Kandinsky Avatar 1.0 Pro сравнили с ведущими открытыми и проприетарными моделями в слепом тесте: участники смотрели пары роликов, оценивали их по семи критериям и выбирали лучший, не зная автора. Ролики Kandinsky Avatar 1.0 Pro выбирали чаще, чем видео каждого из конкурентов: в 63% случаев против Kling Avatar 2, в 60% против LongCat-Avatar-1.5 и в 54% против HeyGen IV.

Для чего нужна модель

Видеоаватары применяют для учебных и рекламных роликов, видеоинструкций и персональных обращений к клиентам. По словам Дениса Димитрова, управляющего директора по исследованию данных Сбербанка, модель открыли, чтобы у российских разработчиков была собственная технологическая основа: её можно встраивать в продукты и дообучать под конкретные задачи, не создавая технологию с нуля. Обратная связь сообщества поможет понять, как модель работает в разных сценариях; этот опыт «Сбер» использует в следующих версиях Kandinsky и при внедрении аватаров в свои сервисы.

Код и веса бесплатно доступны на GitHub, GitVerse и Hugging Face. Моделью также можно будет пользоваться в ComfyUI и Diffusers.