Block、ローカル動作の音声モデル「Dessa」を発表

ジャック・ドーシー氏が率いるBlockは、自社の研究部門が開発した新しい音声モデル「Dessa」を発表した。ローカルで動作し、笑い、間、泣き声といった表現が驚くほど人間らしいという。同社によると、モデルは人間の音声のみを使い、NVIDIAのGPU1基で学習した。

Dessaは話しながら同時に聞ける「全二重」方式で、今年OpenAIが公開したGPT-Liveと同じタイプだ。通常、音声モデルは知識の取得のために大規模言語モデルと組み合わされる。Blockは、Dessaの知識は学習した会話データに由来すると説明している。

感情はモデルに組み込み

Blockは、現在の音声AIが不自然で煩わしく感じられるのは、音声生成を駆動するテキストがパイプラインに含まれるためだと主張する。ElevenLabs v4やFish Audio Drama 3などの多くのモデルは、感情の制御に音声タグを使う。Blockは感情がモデル自体に組み込まれていると述べているが、タグのような仕組みで制御されているかどうかは不明だ。

同社はブログで「現在の音声AIとのやり取りは本当にひどいことがある。声をテキストに変換し、テキストでは伝えられない膨大な情報を捨ててしまう。世界で最も強力なAIも、あなたの気持ちを聞き取れない。これは馬鹿げており、体験を悪くし、危険にもなりうる」と述べた。

研究者らは、声や話すリズム、感情が異なる会話例を複数公開した。ある例では、AIが仕事で疲れたと話し、実際に疲れた声になる。別の例では、自分を気遣ってくれる相手について話しながら、感極まったように聞こえる。Blockの社員が推測ゲームを遊ぶ例もある。

今後の展開

DessaはMacBook M4 Max以上の民生用コンピューターでローカル実行できるという。ただし現時点で一般公開はなく、Blockは安全性の研究者にモデルの検証を呼びかけている。音声エージェントが相手を欺くケースを確かめる狙いとみられる。

Blockは金融分野で中小企業向けにサービスを提供している。Squareはすでに注文対応に音声AIを使っている。端末上で動く独自モデルがあれば、より低コストで多くの事業者向け・消費者向け体験を支えられる可能性がある。