Microsoft、発話中に文字起こしするMAI-Transcribe-2-Streaming

Microsoftは、アプリとエージェント向けのモデルカタログ兼プラットフォーム「Microsoft Foundry」に、音声分野の新モデル3種を追加した。中核となる「MAI-Transcribe-2-Streaming」は、話者が言い終えるのを待たず、発話中の音声をリアルタイムでテキストに変換する。10月1日、Foundry Modelsを担当するシニアディレクターのNaomi Moneypenny氏がブログで発表した。

残る2つは、表現力の高い多言語対応の音声合成モデル「MAI-Voice-2.1」と、応答性が求められる大量処理向けの「MAI-Voice-2.1-Flash」だ。同氏によると、表現の忠実度を重視するならMAI-Voice-2.1、自然さと応答速度、大規模運用時のコストのバランスを取るならFlashが適している。

「部分結果」で先に理解する

自動言語検出を備えたMAI-Transcribe-2-Streamingは、音声を受け取ってから「数百ミリ秒の前半」で最初の仮説(partials)を返す。文脈が増えるにつれて仮説を修正し、発話が終わった時点で確定した文字起こしにする。これにより、カスタマーサービスのエージェントは文が終わる前に要望の把握を始められ、音声アシスタントもツール呼び出しの準備を早く進められる。同氏の投稿では、Artificial Analysisのリーダーボードで、部分・最終の両方の文字起こしで精度1位になったという。

現場からの見方

音声エージェント基盤を手がけるPhonelyのWill Bodewes CEOは、今回の参入を音声AIが実用段階にある証拠と受け止める。同社は独自のルーティング基盤を構築し、120ミリ秒の応答を実現したという。

一方、同社の研究者Amit Kiran Rege氏は、音声の入出力は難所ではないと指摘する。難しいのは、相手が話し終えたのか息継ぎなのかを見極める沈黙の部分だ。同社のエージェントは3分の2の場面で早すぎる応答を始めたが、相手が話を再開したため返答は取り消され、聞こえなかった。遅延を半分にすると、これが耳に届く割り込みになる。そのため遅延とターン制御は同時に改善する必要があると述べた。

Microsoftは、顧客対応エージェント、多言語アシスタント、学習体験、ライブ字幕、音声インターフェースなどへの活用を想定している。新モデルは現在Foundryで利用できる。