Odyssey-3 — новая генеративная модель мира, которую можно опробовать бесплатно

Что умеет Odyssey-3

Odyssey утверждает, что Odyssey-3 генерирует интерактивные миры в реальном времени и набирает высокие баллы на бенчмарках физики.

Пользователи могут создавать интерактивные среды по текстовым промтам и исследовать их в реальном времени. Модель имитирует физические процессы и предсказывает, как среда изменится в ответ на конкретные действия. Разработчики могут подать заявку на доступ к API.

Основатели компании Оливер Кэмерон и Джефф Хок впервые представили модель 15 сентября, рассказав о применении в робототехнике, автономном вождении и видеоиграх. Теперь Odyssey открыла к ней публичный доступ, раскрыла больше технических подробностей и опубликовала результаты на бенчмарках.

Интерактивные миры в онлайн-демке

Бесплатная онлайн-демка работает на Odyssey-3 Flash. Модель создаёт интерактивные среды по текстовым описаниям: пользователи могут переключаться между видом от первого и третьего лица, перемещаться по миру, запускать события и наблюдать за реакцией модели в реальном времени.

Odyssey-3 построена на авторегрессионном диффузионном трансформере. Он непрерывно генерирует новые видеокадры, опираясь на предыдущие кадры и действия пользователя. По словам Odyssey, во время обучения модель усваивает физические связи и причинно-следственные зависимости, наблюдая за изображениями.

Для обучения использовали видеоролики из интернета с описаниями событий, записи игрового процесса с соответствующими нажатиями клавиш и движениями мыши, а также смоделированные физические взаимодействия. Дополнительный метод обучения сокращает число необходимых вычислительных шагов и позволяет генерировать видео в реальном времени.

В базовой версии Odyssey-3 — 14 миллиардов параметров; она генерирует видео с разрешением 832 × 480 пикселей, согласно официальной заявке на бенчмарк. Odyssey-3 Pro поддерживает разрешение 1280 × 720 пикселей.

Результаты на бенчмарках физики

По данным компании, более мощная Odyssey-3 Pro набрала 66,1 балла на бенчмарке Physics-IQ Verified, который оценивает соответствие видео законам физики. Тест охватывает гидромеханику, оптику, механику твёрдых тел, магнетизм и термодинамику. Модели должны продолжать видео с реальными экспериментами, а их результаты сравнивают с тем, что произошло на самом деле.

Однако результат в 66,1 балла получен в одном запуске: для каждой задачи метод отбора выбрал одно из восьми сгенерированных видео. Правила бенчмарка требуют четырёх запусков и указания стандартного отклонения, если результат заявляют как рекорд. Показатель Odyssey этим требованиям не соответствует. Без метода отбора Odyssey-3 Pro набрала в среднем 63,37 балла за четыре запуска. Оба результата опубликованы в официальной таблице лидеров, но отправила их сама Odyssey.

Скриншот через Odyseey

Источник: the-decoder.com

На бенчмарке WorldMark Odyssey-3 заняла первые места в трёх из четырёх категорий по собственной оценке компании: First-Person Stylized — 77,2 балла, Third-Person Real — 79,0, Third-Person Stylized — 76,3. В категории First-Person Real модель оказалась третьей с результатом 80,6 балла. WorldMark проверяет, насколько хорошо модели выполняют инструкции по управлению, как выглядят созданные изображения и сохраняют ли сгенерированные миры согласованность с течением времени.

Роботы, дроны и GTA V

Odyssey хочет применять одну и ту же модель мира для разных задач: от управления роботизированными руками и навигации дронов до управления игровыми персонажами. Для каждого применения модель объединяют со специализированным контроллером, который переводит её предсказания в конкретные команды.

По словам компании, ИИ на базе Odyssey-3 управлял несколькими роботизированными руками. Для обучения хватило нескольких десятков часов демонстрационных данных. Роботы также самостоятельно справлялись с неудачными попытками захвата предметов, хотя такие ситуации не входили в обучающие данные.

Для человекоподобных роботов Odyssey сотрудничает со швейцарской робототехнической компанией Flexion. По утверждению компании, созданные Flexion контроллеры на базе Odyssey-3 работают надёжнее моделей для сравнения, даже когда условия меняются.

Odyssey также создала контроллер для дронов, обученный на данных симулированных полётов. В виртуальном помещении дрон мог обходить препятствия и по команде лететь к заданным целям.

Odyssey-3 умеет играть и в видеоигры. Компания показала ИИ, который самостоятельно играл в GTA V: управлял транспортом и сражался с противниками. Контроллер, обученный примерно на двух часах записей GTA, перенёс навыки в Red Dead Redemption 2 без дополнительного обучения и смог управлять персонажем верхом на лошади.

Odyssey также планирует использовать модель мира для обучения ИИ-агентов. В одной демке ИИ-агент получал задачу на естественном языке и пытался выполнить её собственными действиями в среде, созданной Odyssey-3. Компания рассчитывает, что агенты смогут учиться на результатах своих действий. Такой подход может стать новым способом обучения ИИ.

Публичная исследовательская версия пока позволяет создавать интерактивные среды. Для применения в робототехнике и автономных системах потребуется дальнейшая работа.

Гонка моделей мира

Odyssey основали в 2023 году Оливер Кэмерон и Джефф Хок. В июне 2026 года компания привлекла от инвесторов $310 млн, в том числе от Amazon и AMD Ventures.

Модели мира призваны дать ИИ-системам понимание пространственных и физических связей. Google DeepMind развивает похожий подход с Genie 3 — моделью для создания интерактивных миров. Стартап World Labs, основанный Фэй-Фэй Ли, тоже разрабатывает подобную технологию. В конце сентября AMD объявила о планах купить World Labs примерно за $8,2 млрд.