Block presenta Dessa, un modelo de voz local que suena humano

Block, la compañía de Jack Dorsey, ha lanzado Dessa, un nuevo modelo de voz de su laboratorio de investigación que se ejecuta en local y reproduce expresiones humanas como risas, pausas y llanto. Según la empresa, el modelo se entrenó por completo con habla humana y una sola GPU de NVIDIA.

Dessa es un modelo full-duplex, es decir, puede hablar y escuchar a la vez, como el modelo GPT-Live que OpenAI lanzó a principios de este año. Lo habitual es combinar los modelos de voz con un gran modelo de lenguaje que aporte el conocimiento. Block afirma que el conocimiento de Dessa procede de los datos conversacionales con los que fue entrenado.

Emoción integrada, no etiquetada

Según Block, los sistemas actuales pueden sonar poco naturales porque hay texto en el proceso que dirige la generación de voz. Modelos como ElevenLabs v4 o Fish Audio Drama 3 usan etiquetas de voz para guiar la emoción. La empresa asegura que en su modelo la emoción está integrada, aunque no queda claro si de fondo se guía con algún tipo de etiquetas.

«Interactuar con la IA de voz actual puede ser simplemente un fastidio. Convierte tu voz en texto y descarta una enorme cantidad de información que el texto por sí solo no puede transmitir», señaló la compañía en una entrada de blog.

Los investigadores publicaron varios ejemplos de conversaciones con distintas voces, cadencias y emociones. En uno, el bot decía estar cansado del trabajo y empezaba a sonar cansado. En otro sonaba emocionado, casi al borde del llanto. Un tercer vídeo muestra a una integrante del equipo jugando a adivinar con el asistente.

Local, pero aún sin acceso público

La empresa indica que Dessa puede funcionar en equipos de consumo como un MacBook M4 Max o superior. Por ahora no hay acceso público y Block ha convocado a investigadores de seguridad para probarlo, probablemente para evaluar casos en que un agente de voz pueda engañar a la persona al otro lado.

El lanzamiento importa para su negocio. Block vende soluciones financieras a pequeñas empresas y Square ya usa IA de voz para gestionar pedidos. Un modelo propio que funcione en el dispositivo podría impulsar más experiencias para empresas y consumidores a menor coste.