Osegi
AI·2 min czytania

Sber udostępnia Kandinsky Avatar 1.0 – model mówiących awatarów

Sber opublikował kod i wagi Kandinsky Avatar 1.0 na licencji MIT. Model zamienia obraz i nagranie mowy w animowaną, mówiącą postać.

Animated talking avatar generated from a single portrait image and an audio recording by an AI model.
Zdjęcie: Хабр
SUMODialoediviewergiftdetect

Zespół programistów Sbera zaprezentował Kandinsky Avatar 1.0 – model, który na podstawie obrazu i nagrania mowy tworzy animowaną, mówiącą postać. Kod i wagi modelu są otwarte i dostępne na licencji MIT.

Model synchronizuje ruchy ust z mową, dodaje mimikę, gesty i obroty głowy. Sposób mówienia oraz pożądane emocje można określić w zapytaniu tekstowym. Awatarem może być człowiek, bohater kreskówki lub zwierzę. Model wytrenowano na bazie Kandinsky 5.0 Video na 1,17 mln fragmentów wideo z jednym mówcą w kadrze. W zbiorze danych znalazły się materiały w 95 językach.

Dwie wersje i wymagania sprzętowe

Dostępne są dwa modele: Lite z 2 mld parametrów do generowania wideo SD oraz Pro z 21 mld parametrów do wideo HD. Zalecane są karty Nvidia z 48 GB pamięci dla SD i 80 GB dla HD. Dekodowanie klatki po częściach pozwala obniżyć szczytowe zużycie pamięci do 28 GB, ale na wideo mogą wtedy być widoczne granice między fragmentami obrazu.

Kandinsky Avatar 1.0 Pro porównano z wiodącymi modelami otwartymi i własnościowymi w teście w ciemno. Uczestnicy oglądali pary materiałów, oceniali je według siedmiu kryteriów i wybierali lepszy, nie wiedząc, który model go stworzył. Filmy Kandinsky Avatar 1.0 Pro wybierano częściej niż konkurentów: w 63% przypadków w starciu z Kling Avatar 2, w 60% z LongCat-Avatar-1.5 i w 54% z HeyGen IV.

Zastosowania i dostępność

Wideoawatary pozwalają tworzyć filmy szkoleniowe i reklamowe, instrukcje wideo oraz spersonalizowane komunikaty dla klientów. Denis Dimitrow, dyrektor zarządzający ds. badań nad danymi w Sberbanku, wskazuje, że model otwarto, aby rosyjscy deweloperzy mieli własną podstawę technologiczną. Można ją wbudować we własne produkty i dotrenować do konkretnych zadań bez tworzenia technologii od zera. Opinie społeczności pomogą ocenić działanie modelu w różnych scenariuszach, a zdobyte doświadczenie Sber wykorzysta w kolejnych wersjach Kandinsky i we wdrażaniu awatarów w swoich usługach.

Kod i wagi są dostępne bezpłatnie na GitHubie, GitVerse i Hugging Face. Z modelu będzie można też korzystać w narzędziach ComfyUI i Diffusers.

Aplikacje warte uwagi

SUMO: łamigłówka liczbowa

Wybierz właściwe pola, dodaj je i trafiaj w cel. Łatwa do nauczenia, trudna do opanowania. Za darmo, dla każdego wieku.

Tagi:sberkandinskyavataropen sourcevideo generationmit license

Więcej z tego dnia

Zobacz wszystkie →

Więcej w kategorii: AI

Zobacz wszystkie →