Meta добавила в Muse голосовые беседы и анимированные аватары

Как работают звонки

Во время разговора Muse можно перебить в любой момент, и он отвечает сразу. Кроме того, агент может продолжать выполнять задачи в фоне, пока беседа идёт, например когда пользователь гуляет.

Аватар показывает мимику и жесты, соответствующие тону разговора, и реагирует даже тогда, когда пользователь ещё говорит. Пользователь сам выбирает, сколько видеть: только голос, аватар рядом с беседой или во весь экран. Доступны сотни голосов с разным характером, их можно менять в любой момент. На конференции Connect Meta также заявила, что голос можно будет настраивать описанием, например попросив другой темп или акцент.

Meta предлагает использовать функцию для мозгового штурма, планирования поездки, а также для подготовки к собеседованию или презентации.

Модель и контекст

Аватары работают на модели Muse Realtime Avatar, созданной в Meta Superintelligence Labs, главном ИИ-подразделении компании. Технологию впервые показали на Connect в сентябре. В тестах, которые проводили оценщики самой Meta, пользователи предпочли её аватары аватарам конкурентов Runway и HeyGen. При этом компания отмечала, что не все демонстрации отражают аватары, доступные в приложении.

Muse вышел в сентябре как ответ Meta на ИИ-агентов вроде ChatGPT. Он работает на семействе моделей Muse Spark, представленном в апреле, и уже умеет делать покупки у ритейлеров, отправлять письма и управлять приложениями на Mac. Запуск вписывается в масштабные траты Meta на ИИ, включая дата-центр Hyperion в Луизиане.

Голосовые беседы затем появятся в ИИ-очках Meta и в Muse Charm, небольшом носимом устройстве с клипсой, показанном на Connect. Сроков компания пока не назвала.