Sber veröffentlicht Kandinsky Avatar 1.0 als Open-Source-KI für Avatare
Sber gibt Kandinsky Avatar 1.0 frei: Die KI-Modelle erzeugen aus Foto und Sprachaufnahme sprechende Video-Avatare mit bis zu einer Minute Länge.
SUMO· das Zahlenrätsel
Dialo· Sprachen lernen durch Sprechen
ediviewer· EDI-Dateien wie Dokumente lesenSber hat Kandinsky Avatar 1.0 freigegeben, eine Familie neuronaler Netze, die aus einem Foto und einer Audioaufnahme sprechende Video-Avatare erzeugt. Die Modelle liefern laut Unternehmen Clips von bis zu einer Minute Länge mit 24 Bildern pro Sekunde.
Das System synchronisiert die Lippenbewegungen mit der Sprache und ergänzt selbstständig Mimik, Kopfdrehungen und Gesten. Für ein Video benötigen Nutzer ein Foto, eine Audiospur und eine kurze Textbeschreibung der Szene. Emotionen wie Freude, Trauer oder Wut lassen sich per Textbefehl vorgeben. Die Sprache im Video entspricht der der Originalaufnahme. Kandinsky Avatar erzeugt oder klont keine Stimmen; die Tonspur muss man selbst mitbringen.
Offener Code unter MIT-Lizenz
Code und Gewichte stehen unter der MIT-Lizenz auf GitHub, GitVerse und Hugging Face bereit. Entwickler können sie kostenlos herunterladen und in eigenen, auch kommerziellen Projekten einsetzen. Sber plant außerdem Unterstützung in gängigen Werkzeugen für Fremdmodelle und will Video-Avatare in eigene Dienste einbauen.
Als Einsatzfelder nennt das Unternehmen Angebote für Blogger mit virtuellen Moderatoren, Lernplattformen mit digitalen Lehrern, virtuelle Kundenberater, Video-Lokalisierung mit synchronen Lippenbewegungen, Figuren für Spiele und Animation sowie persönliche Videogrüße.
Versionen Pro und Lite
Kandinsky Avatar basiert auf dem Videomodell Kandinsky 5.0 Video und erscheint in zwei Varianten. Pro liefert HD-Video und erreicht nach internen Vergleichen von Sber die Qualität des kommerziellen Dienstes HeyGen; getestete offene Alternativen übertrifft es. Lite ist für schwächere Hardware gedacht und läuft auf einer Grafikkarte für zu Hause, erzeugt aber nur SD-Auflösung.
Trainiert wurden die Modelle mit mehr als einer Million Videoausschnitten, darunter Interviews, Vorträge und Podcasts in 95 Sprachen, etwa Russisch, Englisch, Kasachisch, Spanisch und Französisch.
„Wir öffnen das Modell, damit russische Entwickler eine eigene technologische Basis für solche Lösungen haben“, sagte Denis Dimitrow, Managing Director für Datenforschung bei der Sberbank. Entwickler könnten es in Produkte einbauen und für konkrete Aufgaben nachtrainieren, ohne die Technik von Grund auf zu entwickeln. Sber erwartet Rückmeldungen und will sie in künftige Kandinsky-Versionen einfließen lassen.
Apps, die sich lohnen
SUMO: das ZahlenrätselTippe die richtigen Felder, addiere, triff das Ziel. Leicht zu lernen, schwer zu meistern. Kostenlos, für jedes Alter.
Dialo: Sprachen lernen durch SprechenSprich mit einem KI-Gesprächspartner; jeder Satz kommt korrigiert und in deiner Sprache erklärt zurück. 9 Sprachen, A1 bis C2.
ediviewer: EDI-Dateien wie Dokumente lesenEDIFACT- und X12-Nachrichten öffnen, jedes Segment verständlich erklärt, in JSON/XML umwandeln, als PDF und Excel exportieren. Läuft lokal, kein Upload.
Mehr von diesem Tag
Alle anzeigen →
Vitroscope sammelt 7 Mio. Dollar für lebendes Gewebe in der Wirkstoffforschung
Tallia sammelt 4 Millionen Euro für KI-Recherche in Steuerkanzleien ein
Readwise Books: Neue App fordert Amazons Kindle und Goodreads heraus
