Microsoft MAI-Transcribe-2-Streaming entiende la voz a mitad de frase

Microsoft ha incorporado tres nuevos modelos de voz de Microsoft AI (MAI) a Microsoft Foundry, su catálogo y plataforma para aplicaciones y agentes. El principal, MAI-Transcribe-2-Streaming, convierte el habla en texto mientras la persona sigue hablando, de modo que el software puede actuar antes de que termine la frase.

Naomi Moneypenny, directora sénior de desarrollo de producto en la división Foundry Models, presentó los modelos el 1 de octubre. Los otros dos son MAI-Voice-2.1, un modelo de texto a voz expresivo y multilingüe, y MAI-Voice-2.1-Flash, optimizado para aplicaciones ágiles y de alto volumen. Según Microsoft, MAI-Voice-2.1 es la opción cuando prima la fidelidad expresiva, y Flash cuando hay que equilibrar voz natural, rapidez y coste a gran escala.

Cómo funciona el reconocimiento incremental

El transcriptor, que detecta el idioma automáticamente, genera sus primeras hipótesis, llamadas parciales, en "unos pocos cientos de milisegundos" tras recibir el audio. Las afina con más contexto y fija una transcripción estable cuando termina la intervención. Microsoft sostiene que un agente de atención al cliente puede identificar lo que pide quien llama antes de que acabe la frase, y que un asistente puede empezar a razonar o preparar una llamada a una herramienta antes. Además, afirma que el modelo debuta en el primer puesto de precisión en transcripciones parciales y finales en la clasificación de Artificial Analysis.

Los modelos se ofrecen mediante Azure Speech, disponible desde hace años. Entre los usos previstos figuran agentes de atención al cliente, asistentes multilingües con una voz coherente, experiencias de aprendizaje y subtítulos en directo.

La latencia es solo la mitad del problema

Will Bodewes, CEO de la empresa de agentes de voz Phonely, ve en el lanzamiento una señal de que la IA de voz está lista para un uso amplio. Dice que su propio modelo responde en 120 milisegundos y que los pasos críticos, como pedir nombre y fecha de nacimiento antes de un reembolso, deben imponerse en el código y no dejarse al LLM.

Amit Kiran Rege, investigador de aprendizaje automático de Phonely, advierte de que lo difícil es el silencio intermedio, cuando hay que decidir si quien llama ha terminado o solo respira. En Phonely, el agente intervenía demasiado pronto dos de cada tres veces, pero casi nadie lo notaba porque el interlocutor retomaba antes de la primera sílaba y la respuesta se cancelaba. Si se reduce la latencia a la mitad, esas interrupciones se vuelven audibles. Su conclusión: latencia y gestión de turnos deben mejorar a la vez.