Microsoft MAI-Transcribe-2-Streaming konuşmayı cümle bitmeden çözüyor

Microsoft, uygulama ve ajan platformu Microsoft Foundry'ye üç yeni Microsoft AI (MAI) ses modeli ekledi. Öne çıkan model MAI-Transcribe-2-Streaming, kişi hâlâ konuşurken sesi metne dönüştürüyor. Böylece yazılım, cümle bitmeden harekete geçebiliyor.

Foundry Models biriminin ürün geliştirme kıdemli direktörü Naomi Moneypenny, modelleri 1 Ekim'de duyurdu. Diğer ikisi, ifade gücü yüksek ve çok dilli bir metinden sese modeli olan MAI-Voice-2.1 ile hızlı yanıt veren, yüksek hacimli uygulamalara göre ayarlanmış MAI-Voice-2.1-Flash. Microsoft'a göre ifade kalitesi öncelikliyse MAI-Voice-2.1, doğal konuşma ile hız ve maliyet dengesi gerekiyorsa Flash tercih edilmeli.

Artımlı tanıma nasıl çalışıyor

Otomatik dil algılama içeren akışlı model, sesi aldıktan sonra "birkaç yüz milisaniye" içinde ilk tahminlerini, yani kısmi çıktıları (partials) üretiyor. Bağlam arttıkça bunları düzeltiyor ve ifade bittiğinde kararlı bir transkripte geçiyor. Microsoft, bir müşteri hizmetleri ajanının arayanın talebini cümle tamamlanmadan belirleyebileceğini, sesli asistanın da akıl yürütmeye veya araç çağrısı hazırlamaya daha erken başlayabileceğini söylüyor. Şirket ayrıca modelin Artificial Analysis sıralamasında hem kısmi hem nihai transkriptlerde doğrulukta birinci sırada başladığını belirtiyor.

Modeller, Microsoft'un yıllardır sunduğu Azure Speech üzerinden geliyor. Hedeflenen kullanımlar arasında müşteri hizmetleri ajanları, tutarlı bir sesle yanıt veren çok dilli asistanlar, öğrenme deneyimleri ve canlı altyazı var.

Gecikme sorunun yalnızca yarısı

Sesli ajan şirketi Phonely'nin CEO'su Will Bodewes, hamleyi sesli yapay zekanın yaygın kullanıma hazır olduğunun işareti olarak görüyor. Kendi modellerinin 120 milisaniyelik yanıt süresine ulaştığını, iade öncesi ad ve doğum tarihi toplamak gibi kritik adımların LLM'e bırakılmak yerine kodla zorunlu kılınması gerektiğini söylüyor.

Phonely'den makine öğrenmesi araştırmacısı Amit Kiran Rege ise asıl zorluğun aradaki sessizlikte olduğunu belirtiyor: Sistem, arayanın konuşmayı bitirdiğine mi yoksa nefes aldığına mı karar vermek zorunda. Rege'ye göre ajan, vakaların üçte ikisinde araya erken girdi ama arayan ilk heceden önce konuşmaya devam ettiği ve yanıt iptal edildiği için kimse fark etmedi. Gecikme yarıya inerse bu girişler duyulur kesintilere dönüşüyor. Sonuç olarak gecikme ile konuşma sırası yönetimi birlikte iyileşmeli.