Microsoft MAI-Transcribe-2-Streaming versteht Sprache mitten im Satz

Microsoft hat drei neue Sprachmodelle der Reihe Microsoft AI (MAI) in Microsoft Foundry aufgenommen, seinen Katalog und seine Plattform für Apps und Agenten. Das wichtigste Modell, MAI-Transcribe-2-Streaming, wandelt gesprochene Sprache in Text um, während die Person noch redet. Software kann so reagieren, bevor der Satz zu Ende ist.

Naomi Moneypenny, Senior Director of Product Development in der Foundry-Models-Sparte, stellte die Modelle am 1. Oktober vor. Hinzu kommen MAI-Voice-2.1, ein ausdrucksstarkes, mehrsprachiges Text-to-Speech-Modell, und MAI-Voice-2.1-Flash für reaktionsschnelle Anwendungen mit hohem Aufkommen. Laut Microsoft eignet sich MAI-Voice-2.1, wenn es vor allem auf Ausdrucksstärke ankommt; Flash, wenn natürliche Sprache mit Reaktionszeit und Kosten im großen Maßstab in Einklang gebracht werden muss.

So funktioniert inkrementelle Erkennung

Der Streaming-Transkribierer, der die Sprache automatisch erkennt, liefert erste Hypothesen, sogenannte Partials, innerhalb von „niedrigen hundert Millisekunden“ nach Eingang des Audios. Mit mehr Kontext verfeinert er sie und legt sich auf ein stabiles Transkript fest, sobald eine Äußerung endet. Microsoft zufolge kann ein Service-Agent die Anfrage eines Anrufers erkennen, bevor der Satz vollendet ist, und ein Sprachassistent früher mit dem Schlussfolgern oder einem Tool-Aufruf beginnen. Außerdem soll das Modell auf der Artificial-Analysis-Rangliste bei Partials und finalen Transkripten die höchste Genauigkeit erreichen.

Die Modelle laufen über Azure Speech, das Microsoft seit Jahren anbietet. Einsatzfelder sind Kundenservice-Agenten, mehrsprachige Assistenten mit einheitlicher Stimme, Lernanwendungen und Live-Untertitel.

Geringe Latenz löst nur die Hälfte

Will Bodewes, CEO des Voice-Agent-Anbieters Phonely, sieht in dem Schritt ein Zeichen dafür, dass Sprach-KI reif für den breiten Einsatz ist. Das eigene Modell seines Unternehmens antworte in 120 Millisekunden; kritische Schritte wie die Abfrage von Name und Geburtsdatum vor einer Erstattung sollten im Code erzwungen statt dem LLM überlassen werden.

Phonely-Forscher Amit Kiran Rege warnt, die eigentliche Schwierigkeit liege in der Pause dazwischen: Das System müsse entscheiden, ob ein Anrufer fertig ist oder nur Luft holt. Bei Phonely sei der Agent in zwei Dritteln der Fälle zu früh eingesprungen, aber kaum jemand habe es gehört, weil der Anrufer vor der ersten Silbe weitersprach und die Antwort abgebrochen wurde. Halbiert man die Latenz, werden daraus hörbare Unterbrechungen. Latenz und Gesprächsführung müssten daher gemeinsam besser werden.