Как отличить генерацию видео от симуляции мира

Когда генерация становится моделью мира

ИИ научился создавать убедительные сцены: предметы двигаются, камеры скользят по помещениям, персонажи взаимодействуют. Но красивый ролик ещё не означает, что модель понимает, как устроен показанный мир. Если мяч исчезает за спиной героя, а затем появляется в другом месте, генерация может выглядеть эффектно — и при этом не сохранять состояние сцены и не учитывать последствия действий.

Статья предлагает отличать генерацию изображения от моделирования мира по одному ключевому признаку: система должна сохранять состояние среды и обновлять его после действий и новых наблюдений. Авторы также представляют WorldFoundry — открытую инфраструктуру, которая помогает запускать и сравнивать модели разных типов по общим правилам.

WorldFoundry объединяет запуск моделей, сохранение результатов и оценку в едином воспроизводимом процессе.

Что делает модель мира

Генеративные модели часто оценивают по тому, насколько правдоподобно они создают отдельный кадр или ролик. Но внешний вид — лишь часть задачи. Модель может нарисовать физически убедительное падение чашки, не представляя, что чашка разбилась и что на столе остались осколки.

Авторы определяют генеративную модель мира как систему, которая строит представление о среде на основе истории наблюдений, сохраняет его и меняет в ответ на действия. Затем она должна предсказывать, что произойдёт дальше. Новые наблюдения, в свою очередь, уточняют её представление.

Здесь важна память не в бытовом смысле, а как часть работы модели. Если на объект повлияли, это должно ограничивать будущие предсказания. И если модель увидела новое состояние сцены, она должна учитывать его в следующих шагах. Когда эти процессы замыкаются в цикл, система не просто генерирует похожие изображения — она отслеживает изменения в среде.

Авторы описывают работу таких систем через три операции:

🟠 Оценка состояния: система выводит устройство среды из наблюдений и их истории.

🟠 Предсказание развития: она оценивает, как среда изменится сама по себе и под действием внешних факторов.

🟠 Ответ на действия: она строит варианты будущего с учётом того, что сделает пользователь или другой агент.

Эти операции не задают единую внутреннюю архитектуру. Системы могут хранить состояние по-разному и выдавать разные результаты: видео, трёхмерную сцену, последовательность действий или ответ для задачи управления. Но общие функциональные вопросы позволяют сравнивать их без требования, чтобы все модели были устроены одинаково.

Почему красивой картинки недостаточно

Разница между генератором и моделью мира проявляется при проверке причин и последствий. Представьте, что виртуальную дверь открыли. Модель, которая хранит состояние сцены, должна продолжить работу с открытой дверью. Если после следующего действия она снова закрыта, система не сохранила результат вмешательства.

Поэтому авторы проводят границу между правдоподобием изображения и замкнутым циклом взаимодействия. Первое показывает, насколько убедительно система создаёт наблюдения. Второе — умеет ли она поддерживать состояние, учитывать действия и исправлять своё представление по новым данным.

Это различие важно для оценки прогресса. Если бенчмарк проверяет только качество кадров, он может не заметить, что модель забывает прошлые действия или нарушает причинные связи. Для видео это может означать, что предметы теряют свои свойства между сценами. Для робототехники — что прогноз модели перестаёт совпадать с тем, что произойдёт после команды. Для интерактивных сред — что последствия действий не сохраняются от одного шага к другому.

Задача особенно сложна потому, что системы работают с разными форматами и правилами запуска. Одни принимают видео, другие — геометрию сцены или действия. У них могут быть разные зависимости, способы подготовки данных и процедуры оценки. Когда каждая команда запускает модели по-своему, результаты трудно воспроизвести и честно сравнить.

Что такое WorldFoundry

WorldFoundry — открытая инфраструктура для запуска и оценки моделей, работающих с видео, трёхмерными и меняющимися во времени сценами, действиями в среде и интерактивными мирами. Авторы хотят объединить в одном процессе поиск моделей и бенчмарков, подготовку сред и ресурсов, выполнение запросов, сохранение результатов и их просмотр.

При этом система не заставляет модели принимать единый формат. Для каждого типа задач используются адаптеры, которые сохраняют собственные входы, выходы и правила выполнения конкретной модели. Это позволяет объединить работу с разными системами, не стирая различия между ними.

Практическая часть устроена как последовательность воспроизводимых запусков. Описание модели фиксирует нужные зависимости, данные и интерфейсы. После запуска результаты сохраняются в виде файлов заданных типов. Оценка затем связывается с этими файлами, чтобы можно было проверить, на чём основан выставленный балл.

Важная деталь — разделение трёх разных утверждений: модель заявляет поддержку задачи, её запуск технически готов, а её качество подтверждено оценкой. Это не одно и то же. Например, запись в каталоге ещё не доказывает, что модель прошла нужный бенчмарк. А успешный запуск не говорит, что её предсказания точны.

Какие данные собирает платформа

В текущем каталоге WorldFoundry указаны 270 моделей, 74 бенчмарка и 62 метрики. Авторы отдельно отмечают, что проверяли исполнители моделей на сквозных запусках по описанным примерам. Такая проверка подтверждает, что система способна выполнить заданную процедуру в проверенной конфигурации; она сама по себе не доказывает превосходство модели или её качество во всех задачах.

Эти цифры показывают масштаб охвата, но не дают готового ответа на вопрос, какая модель лучше. Чтобы сравнение было полезным, нужны и сами результаты, и сведения о том, как их получили. Платформа связывает оценку с сохранёнными файлами, чтобы результат можно было проследить до конкретного запуска и его настроек.

В этом подходе есть важное различие между готовностью к запуску и подтверждёнными возможностями. Каталог помогает понять, какие системы включены и как их запускать. Оценочные записи должны показать, какие именно свойства проверялись. Вместе это упрощает воспроизводимость, но не отменяет необходимость внимательно выбирать бенчмарки и проверять, что они действительно измеряют.

Что меняется для исследователей

Единая инфраструктура может сделать сравнение систем понятнее. Вместо того чтобы собирать отдельную обвязку под каждый проект, исследователи получают общий способ описывать запуск и хранить результаты. Это упрощает повторение экспериментов и помогает отделить ошибки исполнения от слабых результатов самой модели.

Польза выходит за пределы удобства. Если системы проверяют не только по качеству изображения, но и по тому, как они сохраняют состояние и реагируют на вмешательства, становится яснее, где именно находятся их ограничения. Модель может хорошо строить геометрию сцены, но плохо предсказывать её изменение. Другая может генерировать убедительное видео, но не поддерживать интерактивное управление. Общие понятия дают возможность описать такие различия, не сводя их к одному баллу.

При этом WorldFoundry — инфраструктура для измерений, а не доказательство, что уже существующие модели стали полноценными моделями мира. Каталог показывает, что системы можно запускать в общей среде, а оценки — связывать с данными. Но качество измерений зависит от выбранных задач, корректности метрик и того, насколько полно проверяется взаимодействие с меняющейся средой.

Вывод

Чтобы назвать систему моделью мира, недостаточно получить убедительный ролик или сцену. Она должна сохранять состояние среды, учитывать последствия действий и обновлять предсказания по новым наблюдениям. Именно это отличает генерацию отдельных изображений от моделирования процесса, который продолжается во времени.

WorldFoundry предлагает общую инфраструктуру для запуска и оценки разнородных систем. Её задача — сделать сравнение воспроизводимым и связать оценки с конкретными результатами. Если такие проверки будут охватывать не только внешний вид, но и сохранение состояния, причинные связи и реакцию на действия, прогресс в моделировании мира станет измеримее.