Block представила Dessa — голосовую модель, работающую локально

Block, компания Джека Дорси, представила Dessa — новую голосовую модель из собственной исследовательской лаборатории. Она работает локально и звучит удивительно по-человечески: умеет смеяться, делать паузы и даже плакать. По словам компании, модель обучена полностью на человеческой речи с использованием одного графического процессора NVIDIA.

Dessa относится к полнодуплексным моделям: она может говорить и слушать одновременно. Так же работает GPT-Live от OpenAI, выпущенная ранее в этом году. Обычно речевые модели связывают с большой языковой моделью, которая отвечает за поиск знаний. В Block заявили, что знания Dessa происходят из разговорных данных, на которых её обучали.

Эмоции без текстового посредника

В Block считают, что многие нынешние системы звучат неестественно и раздражают, потому что в их конвейере есть текст, управляющий генерацией речи. Многие модели, например ElevenLabs v4 или Fish Audio Drama 3, задают эмоции с помощью голосовых тегов. Block утверждает, что в Dessa эмоции заложены в саму модель. Используются ли при этом какие-либо теги, неясно.

«Общение с современным голосовым ИИ может быть просто ужасным. Он превращает ваш голос в текст и отбрасывает огромное количество информации, которую текст передать не способен. Самые мощные ИИ в мире не слышат, что вы чувствуете. Мы считаем это нелепым, ведущим к худшему опыту и потенциально опасным», — говорится в блоге компании.

Исследователи опубликовали несколько примеров разговоров, где ассистент говорил разными голосами, с разным темпом и эмоциями. В одном из них бот сказал, что устал после работы, и его голос действительно звучал устало. В другом он говорил о человеке, создавшем ему комфорт, и казался почти готовым расплакаться. Ещё в одном сотрудница Block играла с ассистентом в угадайку.

Что дальше

Модель можно запускать локально на потребительском компьютере уровня MacBook M4 Max или мощнее. Публичного доступа к Dessa пока нет, а Block призвала исследователей безопасности протестировать её. Вероятно, речь идёт о проверке случаев, когда голосовой агент может ввести собеседника в заблуждение.

Block работает в сфере финансов и продаёт решения малому бизнесу. Square уже использует голосовой ИИ для приёма заказов. Собственная модель, работающая на устройстве, позволит создавать больше сервисов для бизнеса и потребителей при меньших затратах.