Sber veröffentlicht Kandinsky Avatar 1.0 als Open Source
Sber hat Code und Gewichte von Kandinsky Avatar 1.0 unter MIT-Lizenz freigegeben. Das Modell macht aus Bild und Sprachaufnahme einen sprechenden animierten Avatar.
SUMO· das Zahlenrätsel
Dialo· Sprachen lernen durch Sprechen
ediviewer· EDI-Dateien wie Dokumente lesen
giftdetect· das passende Geschenk in MinutenDie Entwickler von Sber haben Kandinsky Avatar 1.0 vorgestellt, ein Modell, das aus einem Bild und einer Sprachaufnahme einen animierten sprechenden Charakter erzeugt. Code und Gewichte sind offen und unter der MIT-Lizenz verfügbar.
Das Modell synchronisiert Lippenbewegungen mit der Sprache und ergänzt Mimik, Gesten und Kopfdrehungen. Sprechweise und gewünschte Emotionen lassen sich per Textprompt festlegen. Als Avatar eignen sich Menschen, Zeichentrickfiguren oder Tiere. Trainiert wurde es auf Basis von Kandinsky 5.0 Video mit 1,17 Millionen Videoclips, in denen jeweils eine Person spricht. Der Datensatz umfasst 95 Sprachen.
Zwei Größen, hohe Hardwareanforderungen
Es gibt zwei Versionen: Lite mit 2 Milliarden Parametern erzeugt SD-Video, Pro mit 21 Milliarden Parametern HD-Video. Sber empfiehlt Nvidia-Grafikkarten mit 48 GB Speicher für SD und 80 GB für HD. Wird das Bild in Teilen dekodiert, sinkt der Spitzenspeicherbedarf auf 28 GB, dafür können im Video Übergänge zwischen den Abschnitten sichtbar werden.
Blindtest gegen die Konkurrenz
Kandinsky Avatar 1.0 Pro wurde in einem Blindtest mit führenden offenen und proprietären Modellen verglichen. Die Teilnehmer sahen Videopaare, bewerteten sie nach sieben Kriterien und wählten das bessere, ohne das erzeugende Modell zu kennen. Die Clips von Pro wurden häufiger gewählt als die jedes Konkurrenten: in 63 % der Fälle gegen Kling Avatar 2, in 60 % gegen LongCat-Avatar-1.5 und in 54 % gegen HeyGen IV.
Einsatzmöglichkeiten
Videoavatare lassen sich für Lern- und Werbevideos, Videoanleitungen und persönliche Ansprachen an Kunden nutzen. Denis Dimitrow, Managing Director für Datenforschung bei der Sberbank, erklärte, man öffne das Modell, damit russische Entwickler eine eigene technologische Basis haben, die sie in Produkte einbauen und feinabstimmen können. Das Feedback der Community fließt in künftige Kandinsky-Versionen und in die Einführung von Videoavataren in Sber-Diensten ein.
Code und Gewichte sind kostenlos auf GitHub, GitVerse und Hugging Face verfügbar. Nutzbar soll das Modell auch in ComfyUI und Diffusers sein.
Apps, die sich lohnen
SUMO: das ZahlenrätselTippe die richtigen Felder, addiere, triff das Ziel. Leicht zu lernen, schwer zu meistern. Kostenlos, für jedes Alter.
Dialo: Sprachen lernen durch SprechenSprich mit einem KI-Gesprächspartner; jeder Satz kommt korrigiert und in deiner Sprache erklärt zurück. 9 Sprachen, A1 bis C2.
ediviewer: EDI-Dateien wie Dokumente lesenEDIFACT- und X12-Nachrichten öffnen, jedes Segment verständlich erklärt, in JSON/XML umwandeln, als PDF und Excel exportieren. Läuft lokal, kein Upload.
giftdetect: das passende Geschenk in MinutenWähle, für wen es ist, den Anlass und die Persönlichkeit. Die Suchmaschine liest Produktbeschreibungen lokaler Shops und sortiert, was passt. Kostenlos, ohne Anmeldung.
Mehr von diesem Tag
Alle anzeigen →
ASKUL startet ChatGPT-Plugin für die Produktsuche im B2B-Einkauf
Google legt XCPE-Backdoor auf 1,3 Mio. Android-TV-Boxen lahm
Bic Camera: Bis zu 14,9 Millionen Datensätze womöglich abgeflossen
