Sber udostępnia Kandinsky Avatar 1.0 – otwarte AI do awatarów
Sber otworzył dostęp do Kandinsky Avatar 1.0 – rodziny modeli, które ze zdjęcia i nagrania głosu tworzą mówiące awatary wideo o długości do minuty.
Sber udostępnił Kandinsky Avatar 1.0, rodzinę sieci neuronowych generujących mówiące awatary wideo na podstawie zdjęcia i nagrania głosu. Modele tworzą filmy o długości do jednej minuty w 24 klatkach na sekundę, poinformowała firma. Technologia synchronizuje ruchy ust z mową, a także samodzielnie dodaje mimikę, obroty głowy i gesty.
Licencja MIT i trzy platformy
Kod i wagi modeli opublikowano na otwartej licencji MIT. Deweloperzy mogą pobrać je z GitHuba, GitVerse oraz Hugging Face i wykorzystywać we własnych projektach, także komercyjnych. Sber zapowiada też wsparcie integracji z popularnymi narzędziami do pracy z zewnętrznymi sieciami neuronowymi oraz wdrożenie awatarów we własnych usługach.
Do przygotowania filmu potrzebne są zdjęcie, nagranie audio i krótki opis sceny. Emocje awatara, na przykład radość, smutek czy złość, można ustawić poleceniem tekstowym. Mowa jest odtwarzana w języku oryginalnego nagrania. Kandinsky Avatar nie generuje jednak ani nie klonuje głosu – użytkownik musi dostarczyć własną ścieżkę dźwiękową.
Wersje Pro i Lite
Model powstał na bazie generatora wideo Kandinsky 5.0 Video. Wersja Pro tworzy materiał w rozdzielczości HD i według wewnętrznych porównań Sbera dorównuje jakością komercyjnej usłudze HeyGen, a przewyższa przetestowane otwarte odpowiedniki. Wersja Lite jest przeznaczona dla słabszego sprzętu i działa na domowej karcie graficznej, ale generuje wideo w rozdzielczości SD.
Do treningu użyto ponad miliona fragmentów wideo – wywiadów, wystąpień i podcastów w 95 językach, w tym rosyjskim, angielskim, kazachskim, hiszpańskim i francuskim.
Sber wskazuje zastosowania w usługach dla blogerów, platformach edukacyjnych, wirtualnych konsultantach, lokalizacji wideo z synchronizacją artykulacji, grach i animacji oraz osobistych awatarach, np. wideokartkach.
– Otwieramy model, aby rosyjscy deweloperzy mieli własną podstawę technologiczną. Można ją wbudować w swoje produkty i dotrenować do konkretnych zadań, nie tworząc technologii od zera – powiedział Denis Dimitrow, dyrektor zarządzający ds. badań nad danymi w Sberbanku. Firma liczy na opinie deweloperów, które wykorzysta przy kolejnych wersjach Kandinsky.
Aplikacje warte uwagi
SUMO: łamigłówka liczbowaWybierz właściwe pola, dodaj je i trafiaj w cel. Łatwa do nauczenia, trudna do opanowania. Za darmo, dla każdego wieku.
Dialo: ucz się języków, mówiącRozmawiaj z partnerem AI; każde zdanie wraca poprawione i wyjaśnione w Twoim języku. 9 języków, od A1 do C2.
ediviewer: czytaj pliki EDI jak dokumentyOtwieraj komunikaty EDIFACT i X12, każdy segment objaśniony, konwersja do JSON/XML, eksport PDF i Excel. Działa lokalnie, bez wysyłania.
Więcej z tego dnia
Zobacz wszystkie →
Vitroscope zbiera 7 mln dolarów na platformy perfuzyjne dla tkanek
Tallia pozyskuje 4 mln euro na AI dla firm doradztwa podatkowego
Readwise Books wchodzi na rynek jako rywal Kindle i Goodreads
