Block stellt Dessa vor: Lokales Sprachmodell klingt menschlich

Block, das Unternehmen von Jack Dorsey, hat mit Dessa ein neues Sprachmodell aus seinem Forschungslabor veröffentlicht. Es läuft lokal und gibt menschliche Regungen wie Lachen, Pausen und Weinen wieder. Laut Block wurde das Modell vollständig mit menschlicher Sprache und auf einer einzigen NVIDIA-GPU trainiert.

Dessa ist ein Full-Duplex-Modell: Es kann gleichzeitig sprechen und zuhören, ähnlich wie das Modell GPT-Live, das OpenAI Anfang des Jahres vorgestellt hat. Üblicherweise werden Sprachmodelle mit einem großen Sprachmodell kombiniert, das das Wissen liefert. Bei Dessa stammt das Wissen nach Angaben von Block aus den Gesprächsdaten, mit denen es trainiert wurde.

Emotion eingebaut statt per Tag

Block führt aus, dass heutige Systeme oft unnatürlich klingen, weil Text in der Verarbeitungskette die Spracherzeugung steuert. Modelle wie ElevenLabs v4 oder Fish Audio Drama 3 setzen auf Stimm-Tags, um Emotionen zu lenken. Bei Dessa sei Emotion dagegen im Modell selbst angelegt. Unklar bleibt, ob im Hintergrund doch eine Art Tagging eingesetzt wird.

„Die Interaktion mit heutiger Sprach-KI kann schlicht schlecht sein. Sie verwandelt die Stimme in Text und wirft enorm viele Informationen weg, die Text allein nicht transportieren kann“, schreibt das Unternehmen in einem Blogbeitrag.

Die Forscher veröffentlichten mehrere Beispielgespräche mit unterschiedlichen Stimmen, Sprechweisen und Emotionen. In einem sagte der Bot, er sei von der Arbeit müde, und klang tatsächlich müde. In einem anderen klang er gerührt und fast den Tränen nahe. Ein weiterer Clip zeigt eine Mitarbeiterin beim Ratespiel mit dem Assistenten.

Lokal, aber noch nicht öffentlich

Das Modell soll auf Consumer-Hardware wie einem MacBook M4 Max oder besser laufen. Einen öffentlichen Zugang gibt es derzeit nicht. Block ruft Sicherheitsforscher zum Testen auf, vermutlich um Fälle zu prüfen, in denen ein Sprachagent Gesprächspartner täuschen könnte.

Für Block ist das geschäftlich relevant: Das Unternehmen verkauft Finanzlösungen an kleine Betriebe, und Square nutzt bereits Sprach-KI für Bestellungen. Ein eigenes Modell, das auf dem Gerät läuft, könnte deutlich mehr Angebote für Unternehmen und Verbraucher zu geringeren Kosten ermöglichen.