Microsoft MAI-Transcribe-2-Streaming распознаёт речь на лету

Microsoft добавила в каталог и платформу Microsoft Foundry три новые модели серии MAI для работы с голосом. Главная из них, MAI-Transcribe-2-Streaming, превращает живую речь в текст прямо во время разговора, не дожидаясь, пока человек закончит фразу. О запуске 1 октября написала Наоми Манипенни, старший директор по разработке продуктов в подразделении Foundry Models.

В набор также вошли MAI-Voice-2.1, выразительная многоязычная модель синтеза речи, и MAI-Voice-2.1-Flash, рассчитанная на быстрые приложения с большим числом запросов. По словам Манипенни, MAI-Voice-2.1 стоит выбирать, когда важна выразительность, а Flash подходит, если нужно сочетать естественное звучание, скорость отклика и стоимость при больших объёмах.

Частичные гипотезы вместо ожидания

Модель с автоматическим определением языка выдаёт первые гипотезы, так называемые partials, в пределах «низких сотен миллисекунд» после получения звука. По мере поступления контекста она уточняет их, а когда реплика заканчивается, фиксирует стабильную расшифровку. По словам Манипенни, это позволяет агенту поддержки начать понимать запрос звонящего до конца предложения, а голосовому помощнику — раньше приступить к рассуждению или подготовке вызова инструмента. Согласно её записи, модель заняла первое место по точности на частичных и финальных расшифровках в рейтинге Artificial Analysis.

Что говорят в отрасли

Гендиректор платформы голосовых агентов Phonely Уилл Бодевес считает, что выход Microsoft говорит о зрелости рынка. Он напомнил, что в первые годы облачных речевых API запрос мог по 30 секунд стоять в очереди, а для телефонного звонка это равносильно отбою. Его компания создала собственную маршрутизацию и добилась ответов за 120 миллисекунд.

Исследователь Phonely Амит Киран Реге отмечает, что вход и выход речи — не самое сложное. Труднее определить в паузе, закончил ли собеседник мысль или просто вдохнул. По его данным, в двух третях случаев агент Phonely вмешивался слишком рано, но звонящий продолжал говорить, и ответ отменялся незаметно. Если вдвое сократить задержку, такие случаи становятся слышимыми перебиваниями. Поэтому, по словам Реге, задержку и управление очерёдностью реплик нужно улучшать одновременно.

Microsoft предлагает использовать модели для агентов поддержки, многоязычных помощников, обучающих приложений, живых субтитров и голосовых интерфейсов. Модели доступны в Foundry уже сейчас, а Azure Speech, существующий сервис компании, поставляет новые модели MAI.