Alpamayo 2 Super: рассуждение и траектории для беспилотных автомобилей

NVIDIA выпустила открытую модель Alpamayo 2 Super для автопилотов

NVIDIA представила Alpamayo 2 Super — открытую модель с 34 млрд параметров для разработки беспилотных автомобилей. Она объединяет рассуждение по видео с нескольких камер, планирование траектории, ответы на вопросы о сцене и автоматическую разметку данных. Модель анализирует изображение с семи камер, историю движения и текстовый контекст, а затем выдаёт будущую траекторию эго-автомобиля и цепочку причин, объясняющую решение. Веса доступны на Hugging Face, ноутбуки для инференса — на GitHub, а лицензия OpenMDW-1.1 разрешает файн-тюнинг, создание производных моделей и коммерческое распространение.

Что такое Alpamayo 2 Super

При разработке беспилотных автомобилей обычно используют отдельные модели для построения траекторий, прогнозирования намерений, понимания сцены и разметки данных. Из-за этого сложно сопоставлять связанные результаты, исследовать поведение модели и повторно использовать одни и те же представления на разных этапах разработки.

Alpamayo 2 Super объединяет 32-миллиардную NVIDIA Cosmos 3 Super Reasoner и диффузионный Action Expert на 2 млрд параметров. После обучения модель дополнительно улучшили с помощью обучения с подкреплением. Reasoner обрабатывает видео с нескольких камер, языковой контекст и историю предыдущих движений, а Action Expert преобразует внутреннее представление модели в будущую траекторию эго-автомобиля.

Модель воспринимает пространство на 360 градусов максимум через семь камер и выдаёт сразу несколько связанных результатов:

🧭 будущие траектории;

🧠 цепочки причинно-следственного рассуждения CoC;

🚦 высокоуровневые метадействия;

🔎 ответы на вопросы о сцене с привязкой к объектам;

🏷️ автоматические метки, основанные на рассуждении.

Такой многозадачный подход позволяет использовать одну базовую модель на разных этапах разработки беспилотных систем. Она может быть автономной моделью-учителем для стратегии управления, критиком для оценки, модулем подготовки данных или основой для адаптации под новые задачи — вместо отдельной модели для каждого этапа.

Веса Alpamayo 2 Super опубликованы на Hugging Face, а ноутбуки для инференса — на GitHub. Модель распространяется по лицензии OpenMDW-1.1 от Фонда Linux для открытых моделей. Она разрешает файн-тюнинг, выпуск производных моделей и коммерческое распространение. Модели, полученные дистилляцией, можно коммерчески развёртывать без дополнительного разрешения NVIDIA, а результаты работы модели не сопровождаются лицензионными ограничениями.

Траектории и цепочки рассуждения

Новые дорожные ситуации остаются одной из основных проблем для беспилотного вождения. Проезд через строительную зону, частично скрытый пешеход, необычное взаимодействие приоритетов или внезапно выехавший на дорогу объект требуют понять контекст сцены, связать его с решением и выбрать соответствующее действие.

Как и предыдущие версии, Alpamayo 2 Super одновременно строит траекторию и цепочку рассуждения CoC. Траектория показывает, что может сделать эго-автомобиль, а CoC объясняет, почему модель пришла к такому решению, исходя из наблюдаемой обстановки.

Наличие обоих результатов упрощает анализ решений модели, отбор сложных случаев, сравнение рабочей стратегии с более крупной моделью-учителем и диагностику ошибок — на уровне восприятия, рассуждения или генерации действия. Цепочки CoC также используются в процедурах проверки безопасности NVIDIA Halos: они помогают исследовать, как модель поняла сцену.

Ноутбук для инференса из репозитория Alpamayo 2 Super загружает ролик с обзором пространства вокруг автомобиля, подготавливает историю движения эго-автомобиля и строит траекторию вместе с соответствующей цепочкой CoC.

Для проверки качества траекторий и рассуждений NVIDIA предлагает открытый и замкнутый циклы оценки. В открытом цикле предсказания сравниваются с эталонными метками на записанных сценах.

У Alpamayo 2 Super такие результаты: меньшее значение minADE_6 означает более точное предсказание траектории, а более высокий балл рассуждения — лучший результат.

Проблема открытого цикла в том, что он сравнивает предсказание с заранее записанным будущим и не учитывает последствия первого действия модели. Например, если эго-автомобиль перестраивается, открытое воспроизведение может продолжить вести соседнюю машину по её исходной траектории, хотя в реальности она отреагировала бы на перестроение.

В замкнутом цикле каждое предсказанное действие выполняется прямо в сцене. Если симулятор содержит модели реактивного поведения, он также учитывает, как на действия эго-автомобиля могут ответить другие участники движения. NVIDIA AlpaSim многократно отрисовывает наблюдения, запрашивает действие стратегии и применяет его, позволяя измерять последствия во времени.

Для запуска Alpamayo 2 Super в наборе оценочных сценариев AlpaSim используется соответствующая команда оболочки и конфигурация мастера AlpaSim.

На 913 реконструированных сценах модель получила оценку AlpaSim 1,50 ± 0,13. Замкнутый цикл дополняет результаты открытого цикла: он показывает столкновения, съезды с дороги, опасные сближения и другие ошибки, которые возникают только после того, как стратегия начинает влиять на дальнейшие наблюдения.

Метадействия

Траектория точно описывает движение, но не всегда компактно передаёт намерение модели. Метадействия сводят план к решениям высокого уровня: уступить дорогу, перестроиться, остановиться или ускориться.

Такие выходы могут связать сквозную базовую модель с набором компонентов беспилотного автомобиля. Планировщик на следующих этапах может использовать само решение, система оценки — проверить, соответствует ли ему геометрия траектории, а команда разработки — найти в массиве данных конкретные манёвры.

Ноутбук по метадействиям показывает, как получить эти результаты на примере сцены. Полный список поддерживаемых метадействий приведён в соответствующих перечнях.

Для проверки точности метадействий результат Alpamayo 2 Super сравнивают с эталонными метками. Классификацию оценивают через пересечение над объединением, или IoU, для трёх компонентов таксономии: поперечного движения, продольного движения и движения по полосам.

На внутреннем наборе из 94K роликов с эталонными метками модель получила:

🛣️ 74,59 IoU для поперечного движения;

↕️ 61,91 IoU для продольного движения;

🛞 73,55 IoU для движения по полосам.

Вопросы о сцене

Планирование — только один из вариантов использования базовой модели для вождения. Визуальные вопросы и ответы позволяют напрямую проверять, как модель понимает сцену. Разработчик может спросить о ключевых объектах, их влиянии на поведение автомобиля, причине замедления эго-автомобиля и других особенностях ситуации.

Такой режим подходит для интерактивной отладки и работы с данными. Он помогает выяснить, почему стратегия повела себя определённым образом, создать смысловые фильтры для больших коллекций роликов и подготовить варианты разметки для проверки человеком. Обзор с нескольких камер позволяет задавать вопросы о боковой и задней части сцены, которые были бы недоступны модели, смотрящей только вперёд.

Для каждого ролика Alpamayo 2 Super может сформировать ответ и определить положение упомянутых участников движения, предсказав двумерные ограничивающие рамки в нужных кадрах с камер. Такая пространственная привязка полезнее одного свободного текстового ответа: проверяющий видит, о каком именно объекте говорит модель, автоматические проверки могут находить пропущенные или противоречивые рамки, а другие модели — использовать более точную связь между визуальными данными, рассуждением и действием, например при дистилляции.

Ноутбук по пониманию сцены и визуальным вопросам показывает работу этого режима на тех же входных данных. Для одного и того же ролика модель может вернуть текстовое описание сцены, а также локализовать упомянутые объекты с помощью двумерных рамок в соответствующих кадрах камер.

Качество VQA оценивали на внутреннем наборе из 8K пар «вопрос — ответ». Сходство ответов Alpamayo 2 Super составило 0,652 против 0,450 у Qwen3-VL 32B. Для пространственной привязки предсказанные рамки сравнивали с эталонными через IoU: результат Alpamayo 2 Super составил 0,71, а Qwen3-VL 32B — 0,17.

Эти метрики одновременно проверяют точность ответов и способность модели связать их с правильными визуальными свидетельствами на изображении с нескольких камер.

Автоматическая разметка

Моделям, которые умеют рассуждать, нужны данные с рассуждением, привязанным к конкретным решениям. Ручная разметка редких дорожных сценариев обходится дорого и занимает много времени: разметчики должны изучить временной контекст и изображения с нескольких камер, определить причинные объекты, описать их влияние на эго-автомобиль и сохранить соответствие выбранному манёвру.

Alpamayo 2 Super может работать как автономная система автоматической разметки и предлагать такую структуру в большом масштабе. Это позволяет сократить циклы разметки с месяцев до дней.

Ноутбук для CoC-разметки принимает ролики в опубликованной схеме и записывает одну структурированную запись для каждого выбранного ключевого кадра.

По умолчанию Alpamayo 2 Super использует информацию о будущей траектории эго-автомобиля. Однако модель умеет автоматически размечать и данные, в которых такой информации нет.

Качество CoC-разметки сравнили с экспертной разметкой на 8k внутренних роликов. Для оценки сходства использовали внутреннюю модель-судью. Alpamayo 2 Super получила 0,652, а Qwen3-VL 32B — 0,450. Эти результаты показывают, что модель может создавать структурированные метки рассуждения в большом масштабе и сохранять соответствие разметке экспертов.

Вывод

Alpamayo 2 Super объединяет в одной открытой модели восприятие с нескольких камер, рассуждение, планирование, понимание сцены и автоматическую разметку данных. Её можно использовать для создания моделей-учителей, отбора редких случаев, анализа решений стратегии и оценки беспилотных систем за пределами одной метрики открытого цикла.

В роли модели-учителя Alpamayo 2 Super можно сжать методом дистилляции в компактные модели для запуска внутри автомобиля на NVIDIA DRIVE AGX Thor.

Модель доступна на Hugging Face, ноутбуки для инференса — в репозитории на GitHub. Дополнительные обновления Alpamayo 2 описаны в связанной публикации Hugging Face.