Модели мира скоро будут повсюду. Что о них нужно знать

Как модели мира предсказывают происходящее

Большие языковые модели работают с текстом: по словам Оливера Кэмерона, генерального директора лаборатории Odyssey, модель получает предложение и предсказывает следующее слово. Модель мира принимает изображение текущего состояния среды и предсказывает, как она будет выглядеть дальше. Полученные трёхмерные среды используют как цифровые площадки для обучения: они имитируют реальность и выглядят правдоподобно.

Брайан МакКлендон, технический директор Niantic Spatial, считает, что такие модели помогут роботам тренироваться без физических перемещений и присутствия в рабочей среде. Можно сфотографировать место, где должен работать робот, создать его трёхмерную копию и провести в ней «миллионы симуляций», обучая систему учитывать особенности пространства.

Для беспилотных автомобилей важны мгновенные реакции программы. Главный научный сотрудник Wayve Джейми Шоттон отмечает, что модели мира для машин должны реагировать на действия в среде и учитывать физику, причинно-следственные связи, а также то, как другие объекты и люди меняют поведение в ответ на действия автомобиля.

Генеративная модель мира Wayve, в частности, использует записи с автомобильных видеорегистраторов. По ним компания воссоздаёт опасные дороги и условия, которые непрактично проверять в реальности.

Где ещё применяют модели мира

Игровые разработчики тоже изучают эту технологию: физика и трёхмерная графика лежат в основе видеоигр, а Tencent инвестирует в собственные модели мира.

Крупные ИИ-компании, включая Google, продолжают сообщать об улучшениях таких моделей. Инвесторы вкладываются и в новые компании. Янн ЛеКун, бывший главный научный сотрудник Meta по ИИ, недавно привлёк более миллиарда долларов для своей компании Advanced Machines Intelligence. Компанию World Labs, которую известный компьютерный учёный Стэнфордского университета Фэй-Фэй Ли запустила в 2024 году, AMD приобрела в этом году более чем за 8 миллиардов долларов.

Данные собирают люди

Развитие моделей мира уже влияет на рынок труда: лабораториям нужны записи реальной жизни, чтобы создавать цифровые копии физической среды. Автор исходного материала рассказывает, что в начале этого года закрепил iPhone на лбу и несколько часов снимал домашние дела — складывал бельё, мыл посуду и наливал Diet Coke. Видео он продал через приложение за небольшую сумму. По мере того как компании будут улучшать модели мира, спрос на такую работу может вырасти.

От охоты за виртуальными покемонами до съёмки бытовых дел данные всё чаще превращают повседневную жизнь в материал для обучения систем. По оценке Dataist, применение моделей мира будет зависеть не только от возможностей симуляции, но и от того, насколько много реальных записей смогут собрать разработчики.