Genie 4 от Google добавила звук, более реалистичные миры и управление сценой в реальном времени

Выход Genie 4 состоялся через несколько месяцев после того, как стартап Runway, разрабатывающий ИИ для видео, выпустил вторую модель мира — GWM Worlds 2. Она позволяет играть, реагирует на действия пользователя и генерирует аудио. Тем временем рынок моделей мира начал консолидироваться: World Labs Фэй-Фэй Ли покупает AMD, Amazon ведёт переговоры о покупке Decart, а Rivian приобрела Third Dimension, чтобы самостоятельно использовать её технологии симуляции для испытаний беспилотных автомобилей.

Genie 4 — новая попытка Google укрепить позиции на конкурентном рынке.

Что умеет Genie 4

Google представила предыдущую версию, Genie 3, в исследовательском режиме чуть больше года назад. Новая модель создаёт более фотореалистичные сцены и добавляет звук. Кроме того, она позволяет свободно менять происходящее на ходу: например, менять погоду и угол камеры или добавлять людей и предметы. Genie 4 удерживает согласованность сцены до двух минут — вдвое дольше Genie 3. У модели также улучшена физика, а персонажи выглядят более похожими на людей.

Gemini теснее интегрирована с Genie 4: она планирует действия и проверяет кадры, пока Genie создаёт изображение. В эксперименте, связанном с Gemini Robotics, модель Gemini 4 Argon разбила задачи на шаги, которые Genie 4 смоделировала в реальном времени. Эксперимент показывает, как можно проверять сценарии для роботов в симуляции до того, как они произойдут в реальном мире.

На брифинге директор по исследованиям Google Теджас Кулкарни рассказал, что в будущем могут появиться гибридные модели мира: Gemini будет создавать код и текст, а Genie — получать их на вход и моделировать реальность в реальном времени с разной степенью детализации.

Игры, обучение и прототипы фильмов

Как и для других моделей мира, Google называет среди возможных коммерческих применений игры, интерактивное обучение и робототехнику. Один из возможных сценариев обучения — погрузиться в изображённую на картине историческую сцену и поговорить с её участниками о событии.

Участники программы доверенного тестирования, которым Google предоставляет ранний доступ к новым продуктам, видят ещё одно возможное применение — создание прототипов фильмов.

Инженер Google DeepMind Диего Ривас отметил на пресс-брифинге, что управление в реальном времени особенно полезно там, где творческому процессу важно сохранять непрерывность. Например, во время разработки идей и раскадровки, когда нужно быстро перебирать варианты.

У Google есть и Veo — модель для генерации видео по текстовым, графическим и видеопромтам. Она создаёт ролики высокого разрешения со встроенным синхронизированным аудио и становится популярнее среди кинематографистов.

Ривас добавил, что в перспективе пользователи смогут задействовать Gemini Omni — мультимодальную большую языковую модель, которая создаёт видео по изображениям, аудио и тексту, — чтобы превращать прототипы в творческие материалы. По его словам, до появления таких возможностей ещё далеко.

Ограничения и доступ

Во время брифинга Ривас подчеркнул, что Genie 4 пока находится на ранней стадии и Google ещё не определилась, как будет выглядеть готовый продукт. Команда также признала, что у модели остаются ограничения: по мере продолжения симуляции детали и объекты могут меняться. Кроме того, разработчики пока не нашли способ надёжно обеспечить точность аудио и читаемость текста внутри смоделированного мира.

Genie 4 уже доступна доверенным тестировщикам в исследовательской версии. В ближайшие недели модель начнёт появляться у подписчиков Google AI Ultra в Project Genie — инструменте Google для создания интерактивных миров по текстовым или графическим промтам. Ранний доступ также получат партнёры Gemini API и Google AI Studio.