Google DeepMind выпустила Genie 4: модель миров со звуком

Google DeepMind во вторник выпустила Genie 4 — новую модель миров — в формате исследовательского превью. По данным компании, это самая фотореалистичная и интерактивная версия на сегодня: прямо во время симуляции пользователь может вводить текстовые запросы и менять сцену. Кроме того, модель генерирует звук в реальном времени, который соответствует происходящему в мире: музыку, фоновые шумы и диалоги.

Что нового

Genie 3 вышла как исследовательское превью чуть более года назад. Помимо реализма и звука, Genie 4 позволяет свободно редактировать сцену: менять погоду или ракурс камеры, добавлять людей и объекты. Модель удерживает согласованную сцену до двух минут — вдвое дольше предшественницы, — лучше передаёт физику и создаёт более похожих на людей персонажей.

Теснее стала и связка с Gemini. Она выступает «режиссёром»: планирует шаги и проверяет кадры, пока Genie создаёт изображение. В эксперименте, связанном с Gemini Robotics, модель Gemini 4 Argon разбивала задачи на шаги, а Genie 4 симулировала их в реальном времени. Так можно проверять сценарии для роботов в симуляции до запуска в реальном мире. Директор по исследованиям Google Теджас Кулкарни заявил, что в будущем всё чаще будут появляться гибридные модели миров, где Gemini пишет код и текст, а Genie в реальном времени превращает их в симуляцию.

Применение и ограничения

Среди заявленных сфер — игры, интерактивное обучение и робототехника. Тестировщики из числа «доверенных» предложили ещё одно применение: прототипирование фильмов. Инженер DeepMind Диего Ривас отметил, что режим реального времени особенно полезен на этапах идеи и раскадровки. В будущем пользователи смогут превращать такие прототипы в готовые материалы с помощью Gemini Omni, но до этого ещё далеко.

В компании подчёркивают, что это ранний этап, а итоговый пользовательский продукт пока не определён. Недостатки остаются: детали и объекты могут «плыть» по мере работы симуляции, а точность звука и читаемость текста внутри мира пока обеспечить не удаётся.

Genie 4 уже доступна доверенным тестировщикам. В ближайшие недели модель появится у подписчиков Google AI Ultra в Project Genie, а также у партнёров раннего доступа Gemini API и Google AI Studio. Выход состоялся на фоне усиливающейся конкуренции: пару месяцев назад Runway представила GWM Worlds 2, а рынок моделей миров начинает консолидироваться.