Block, insan gibi konuşan yerel ses modeli Dessa'yı tanıttı

Jack Dorsey'nin Block şirketi, araştırma laboratuvarından çıkan yeni ses modeli Dessa'yı duyurdu. Model yerel olarak çalışıyor ve kahkaha, duraksama, ağlama gibi insani ifadeleri yeniden üretiyor. Şirkete göre model tamamen insan konuşmasıyla ve tek bir NVIDIA GPU ile eğitildi.

Dessa, aynı anda hem konuşup hem dinleyebilen tam çift yönlü (full-duplex) bir model. OpenAI'ın bu yılın başında yayımladığı GPT-Live modeline benziyor. Konuşma modelleri genellikle bilgi sağlamak için büyük bir dil modeliyle eşleştirilir. Block ise Dessa'nın bilgisinin eğitildiği konuşma verilerinden geldiğini söylüyor.

Duygu modelin içinde

Block, mevcut modellerin süreçte metin bulunduğu ve konuşma üretimini metnin yönlendirdiği için yapay ve rahatsız edici duyulabildiğini savunuyor. ElevenLabs v4 veya Fish Audio Drama 3 gibi birçok model duyguyu yönlendirmek için ses etiketleri kullanıyor. Şirket, kendi modelinde duygunun içine yerleşik olduğunu öne sürüyor; ancak arka planda bir tür etiketle yönlendirilip yönlendirilmediği belirsiz.

Şirket blog yazısında şöyle dedi: "Mevcut ses yapay zekâsıyla etkileşim gerçekten berbat olabiliyor. Sesinizi metne çeviriyor ve yalnızca metnin taşıyamayacağı çok büyük miktarda bilgiyi çöpe atıyor."

Araştırmacılar, yapay zekâ ajanının farklı ses, tempo ve duygularla konuştuğu birkaç örnek paylaştı. Birinde bot işten yorgun olduğunu söyledi ve gerçekten yorgun bir sesle konuştu. Bir diğerinde duygulanmış, neredeyse ağlamaklı bir tonla konuşuyordu. Başka bir videoda ise bir Block çalışanı asistanla tahmin oyunu oynuyor.

Yerel çalışıyor, henüz herkese açık değil

Şirket, Dessa'nın MacBook M4 Max ve üzeri gibi tüketici sınıfı bilgisayarlarda çalışabildiğini belirtiyor. Şu an kamuya açık erişim yok; Block, modeli test etmeleri için güvenlik araştırmacılarına çağrı yaptı. Bunun, bir ses ajanının karşıdaki kişiyi kandırabileceği durumları sınamak için yapıldığı tahmin ediliyor.

Lansman Block'un işi açısından önemli. Şirket küçük işletmelere finans çözümleri satıyor ve Square sipariş almak için şimdiden ses yapay zekâsı kullanıyor. Cihaz üzerinde çalışan kendi ses modeli, daha düşük maliyetle çok daha fazla işletme ve tüketici deneyimine güç verebilir.