Microsoft MAI-Transcribe-2-Streaming, 말하는 도중 받아쓴다

Microsoft가 앱·에이전트용 모델 카탈로그이자 플랫폼인 Microsoft Foundry에 음성 중심의 MAI 모델 3종을 추가했습니다. 핵심은 말이 끝나기를 기다리지 않고 실시간으로 음성을 텍스트로 바꾸는 MAI-Transcribe-2-Streaming입니다. Foundry Models 부문의 Naomi Moneypenny 시니어 디렉터가 10월 1일 블로그를 통해 공개했습니다.

함께 공개된 MAI-Voice-2.1은 표현력이 풍부한 다국어 음성 합성 모델이고, MAI-Voice-2.1-Flash는 빠른 응답이 필요한 대량 처리 애플리케이션에 맞춰 최적화됐습니다. Moneypenny는 표현의 충실도가 우선이면 MAI-Voice-2.1을, 자연스러운 음성과 응답 속도, 대규모 운영 비용의 균형이 필요하면 Flash를 고르라고 설명했습니다.

부분 결과로 먼저 의도를 파악

자동 언어 감지를 지원하는 MAI-Transcribe-2-Streaming은 오디오를 받은 뒤 '수백 밀리초 안팎'에 첫 가설(partials)을 내놓습니다. 문맥이 더해지면 이를 다듬고, 발화가 끝나면 안정적인 전사본으로 확정합니다. 이에 따라 고객 상담 에이전트는 문장이 끝나기 전에 요청을 파악하기 시작할 수 있고, 음성 비서는 도구 호출 준비를 더 일찍 할 수 있습니다. 회사는 Artificial Analysis 리더보드에서 부분·최종 전사 모두 정확도 1위를 기록했다고 밝혔습니다.

현장의 시각

음성 에이전트 플랫폼 Phonely의 Will Bodewes CEO는 Microsoft의 진입이 음성 AI가 실용 단계에 들어섰다는 신호라고 평가했습니다. 그의 회사는 자체 라우팅 인프라로 120밀리초 응답을 구현했다고 합니다.

Phonely의 머신러닝 연구원 Amit Kiran Rege는 음성 입력과 출력은 어려운 부분이 아니라고 말합니다. 어려운 것은 상대가 말을 끝냈는지, 숨을 고르는 중인지 판단하는 침묵 구간입니다. 그의 설명에 따르면 Phonely 에이전트는 3분의 2가량 너무 일찍 끼어들려 했지만, 발신자가 말을 이어 응답이 취소돼 아무도 듣지 못했습니다. 지연 시간을 절반으로 줄이면 이것이 귀에 들리는 끼어들기가 되므로, 지연과 발화 순서 제어를 함께 개선해야 한다는 것입니다.

Microsoft는 고객 서비스 에이전트, 다국어 비서, 학습 서비스, 실시간 자막, 음성 인터페이스 등에 이 모델을 활용할 수 있다고 제안합니다. 새 모델은 지금 Foundry에서 사용할 수 있습니다.