NVIDIA выпустила Alpamayo 2 Super для разработки беспилотников
Единая модель для разработки
При разработке автономных автомобилей обычно используют отдельные модели для построения траекторий, определения намерений, понимания сцены и разметки данных. Из-за этого сложнее сопоставлять результаты, разбираться в поведении системы и повторно использовать одни и те же представления на разных этапах разработки.
Alpamayo 2 Super объединяет эти задачи в одном рабочем процессе. Её можно применять как автономного учителя для политики управления, средство оценки, модуль подготовки данных или основу для настройки под новые задачи. Это позволяет не поддерживать отдельную модель для каждого этапа.
Модель воспринимает обзор на 360 градусов с семи камер и выдаёт несколько связанных результатов: будущие траектории, цепочки причинно-следственного рассуждения (цепочки причинности, CoC), метадействия высокого уровня, ответы на вопросы о сцене с привязкой к объектам и автоматические метки рассуждений.
Alpamayo 2 Super обрабатывает мультимодальные входные данные с помощью 32B Cosmos 3 Super Reasoner и 2B Action Expert
Источник: developer.nvidia.com
Весы модели опубликованы на Hugging Face, а записные книжки для инференса — на GitHub. Alpamayo 2 Super распространяется по лицензии OpenMDW-1.1 — разрешительной лицензии Linux Foundation для открытых моделей. Она допускает файн-тюнинг, создание производных моделей и коммерческое распространение. Дистиллированные модели можно использовать в коммерческих продуктах без дополнительного разрешения NVIDIA, а на результаты работы модели лицензионные ограничения не распространяются.
Траектории и рассуждения
Автономному автомобилю приходится принимать решения в строительных зонах, рядом с частично скрытыми пешеходами, при необычном взаимодействии с другими участниками движения и при появлении объектов на дороге. В таких ситуациях недостаточно подобрать траекторию, похожую на распространённый шаблон: системе нужно понять контекст сцены, связать его с решением и выбрать соответствующее действие.
Alpamayo 2 Super, как и предыдущие модели семейства, одновременно строит траекторию и цепочку причинности. Траектория показывает, что собственный автомобиль может сделать дальше, а цепочка рассуждения связывает принятое решение с наблюдаемыми обстоятельствами.
Совместный вывод помогает изучать решения модели, собирать сложные случаи, сравнивать работающую политику с более крупной моделью-учителем и определять, где возникла ошибка — в восприятии, рассуждении или генерации действия. Цепочки причинности также используются в процедурах проверки безопасности NVIDIA Halos: они позволяют анализировать, как модель понимает сцену.
Записная книжка из репозитория Alpamayo 2 Super загружает ролик с круговым обзором, подготавливает историю движения собственного автомобиля и получает траекторию вместе с соответствующей цепочкой причинности.
Проверка в открытом и замкнутом цикле
Качество траекторий и рассуждений можно проверять в открытом и замкнутом циклах. При проверке в открытом цикле модель оценивают на записанных сценах, сопоставляя её прогнозы с эталонными метками.
Alpamayo 2 Super показывает следующие результаты. Для метрики minADE_6 меньшие значения означают более точный прогноз траектории, а более высокие оценки рассуждений — лучший результат.
Открытые метрики сравнивают прогноз с заранее записанным будущим. Поэтому они не показывают, что произойдёт после первого действия модели и как это действие изменит оставшуюся часть сцены. Например, если собственный автомобиль перестраивается, воспроизведение записи может продолжить вести соседнюю машину по исходной траектории, не учитывая её реакцию на перестроение.
В замкнутом цикле симулятор выполняет каждое предсказанное действие внутри сцены. Если в нём есть модели реактивного поведения, он также учитывает реакцию окружающих участников движения. NVIDIA AlpaSim многократно формирует новые наблюдения, запрашивает решение политики и применяет его, чтобы оценивать последствия действий во времени.
Alpamayo 2 Super осуществляет движение в замкнутом контуре в AlpaSim, перемещаясь в плотном потоке рядом с зоной строительства
Источник: developer.nvidia.com
Для запуска Alpamayo 2 Super в наборе тестов AlpaSim используется соответствующая команда оболочки и конфигурация мастера AlpaSim.
На 913 реконструированных сценах модель получила показатель 1.50 ± 0.13. Замкнутая оценка дополняет результаты открытого цикла: она выявляет столкновения, съезды с дороги, опасные сближения и другие ошибки, которые появляются только после того, как политика начинает влиять на последующие наблюдения.
Метадействия
Траектория точно описывает движение, но не всегда компактно передаёт намерение автомобиля. Метадействия суммируют план на уровне решений: уступить дорогу, перестроиться, остановиться или ускориться.
Такие выводы могут связать единую модель с модульной системой автономного автомобиля. Планировщик может использовать решение напрямую, оценщик — проверить, соответствует ли геометрия траектории заявленному намерению, а разработчики — найти в наборе данных конкретные манёвры.
Записная книжка для метадействий показывает, как получить такой вывод на примере сцены. Для оценки точности результат сравнивают с эталонными метками и считают пересечение над объединением (IoU) по трём компонентам классификации: боковое движение, продольное движение и движение по полосе.
На внутреннем наборе из 94K роликов с эталонными метками Alpamayo 2 Super получила 74.59 IoU для бокового движения, 61.91 IoU для продольного движения и 73.55 IoU для движения по полосе.
Вопросы о сцене
Планирование — лишь один из вариантов применения модели для вождения. Визуальные ответы на вопросы позволяют напрямую проверять понимание сцены на естественном языке. Разработчик может спросить о ключевых объектах, их влиянии на поведение автомобиля, причине замедления или других обстоятельствах.
Такая проверка подходит для интерактивной отладки и работы с данными. С её помощью можно выяснить, почему политика поступила определённым образом, создать смысловые фильтры для больших коллекций роликов и подготовить варианты аннотаций для проверки человеком. Круговой обзор позволяет задавать вопросы о боковой и задней части сцены, которые недоступны модели только с передней камерой.
Alpamayo 2 Super не только отвечает на вопросы, но и локализует упомянутых участников движения: модель предсказывает двумерные ограничивающие рамки в нужных кадрах с соответствующих камер. Такая привязка показывает, на какой именно объект она ссылается, позволяет автоматически находить отсутствующие или противоречивые рамки и передавать более точную связь между визуальными данными, рассуждением и действием в последующие модели, например при дистилляции.
Записная книжка для понимания сцены и визуальных вопросов использует те же входные данные. Для одного ролика модель может вернуть текстовое описание сцены и отдельно указать положение объектов, предсказав двумерные рамки в нужных кадрах.
На внутреннем наборе из 8K пар «вопрос — ответ» Alpamayo 2 Super получила 0.652 по сходству ответов против 0.450 у Qwen3-VL 32B. Для двумерной локализации показатель IoU составил 0.71 против 0.17 у Qwen3-VL 32B. Эти измерения проверяют одновременно точность ответа и его соответствие правильному визуальному объекту в круговом обзоре.
Автоматическая разметка рассуждений
Для обучения моделей рассуждения нужны данные, в которых решения связаны с конкретными обстоятельствами на дороге. Ручная разметка редких дорожных ситуаций требует много времени: специалисту нужно изучить временной контекст и видео с нескольких камер, определить причинных участников, описать их влияние на собственный автомобиль и сохранить единообразие меток для выбранного манёвра.
Alpamayo 2 Super может работать как автономная система автоматической разметки и предлагать такую структуру в большом масштабе. Это способно сократить цикл разметки с месяцев до дней.
Записная книжка для автоматической разметки цепочек причинности принимает ролики в опубликованной схеме и записывает одну структурированную запись для выбранного ключевого кадра.
По умолчанию Alpamayo 2 Super использует информацию о будущей траектории собственного автомобиля. Однако модель может размечать и данные, в которых будущая траектория отсутствует.
Качество автоматических меток проверяли на 8k внутренних роликов, сравнивая результаты с аннотациями экспертов с помощью внутренней модели-оценщика. Alpamayo 2 Super получила 0.652 по сходству, а Qwen3-VL 32B — 0.450. Результаты показывают, что модель может создавать структурированные метки рассуждений в большом масштабе и сохранять соответствие аннотациям экспертов.
Результат автоматической разметки рассуждений с трассировкой CoC и входными данными с нескольких камер
Источник: developer.nvidia.com
Вывод
Alpamayo 2 Super объединяет восприятие с круговым обзором, рассуждение, планирование, понимание сцены и автоматическую разметку данных в одном открытом рабочем процессе. Модель можно использовать для создания моделей-учителей, отбора редких дорожных ситуаций, анализа решений политики и оценки автономных систем за пределами одной метрики траектории в открытом цикле.
В качестве модели-учителя Alpamayo 2 Super можно сжать с помощью дистилляции в компактные модели для запуска на автомобильной платформе NVIDIA DRIVE AGX Thor.
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ, роботах и метавселенных и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram