Как обучить навигационную политику для роботов разных типов с ИИ-агентами

NVIDIA показала агентный рабочий процесс для навигации роботов

Навигация превращает восприятие и движение робота в целенаправленное автономное поведение. В отличие от локомоции, которая отвечает за устойчивое перемещение, навигация должна постоянно определять положение робота, интерпретировать меняющуюся обстановку, выбирать маршрут и обходить препятствия, чтобы безопасно достичь цели.

Перенос такой способности на нового робота или в новую сцену требует новых данных, ресурсов симуляции, интерфейсов робота, обучения, диагностики и оценки. Повторять эту работу для каждой пары «робот — сцена» дорого и сложно воспроизводить.

Агентный рабочий процесс сокращает объём ручных операций. Разработчик задаёт робота, источник сцены и цель навигации. Агент для программирования использует навыки из репозитория, чтобы проверить зависимости, подготовить ресурсы, запустить дымовые тесты, начать обучение, найти причины сбоев и сравнить контрольные точки. Человек подтверждает принятие сцены, запуск теста в одной среде и продвижение контрольной точки на следующий этап.

В качестве эталонного робота NVIDIA использует Spot. В учебном сценарии агентный рабочий процесс COMPASS проходит через встроенную сцену и сцену SAGE-10K, а NVIDIA Omniverse NuRec показывает, как работать с реконструированными окружениями. Рабочий процесс включает дымовое тестирование, остаточное обучение, оценку контрольных точек и подключение к роботизированной системе во время выполнения, в том числе с опциональной одометрией.

Что такое COMPASS

COMPASS — это платформа «Политика мобильности для разных воплощений через остаточное RL и синтез навыков». Она предназначена для масштабируемого переноса навыков мобильности между разными роботами и использует экспертные демонстрации, собранные на одном типе робота.

Платформа повторно применяет навигационное поведение предобученной политики NVIDIA X-Mobility. Затем она обучает остаточного специалиста — политику обучения с подкреплением, которая корректирует базовое действие под выбранного робота и окружение. Навигацию при этом не требуется обучать с нуля. Позднее данные нескольких специалистов можно объединить в единую политику для разных типов роботов.

COMPASS адаптирует базовую политику X-Mobility в специализированные политики для отдельных воплощений и дистиллирует их в политику для разных воплощений

Источник: developer.nvidia.com

Рабочий процесс, который агент запускает и оценивает, упакован в навыки репозитория COMPASS. В учебном сценарии для разработки используется Codex. После обучения политика и контроллер робота самостоятельно выполняют навигацию; ИИ-агент во время работы робота не нужен.

В эталонном сценарии применяется четырёхногий Boston Dynamics Spot. Встроенный склад служит основным воспроизводимым маршрутом, SAGE-10K добавляет сгенерированную сцену, а NVIDIA Omniverse NuRec предлагает дополнительный путь для реконструированного целевого окружения.

Если робот не предоставляет совместимую одометрию и преобразования координат, их при развёртывании может дать NVIDIA cuVSLAM — библиотека визуальной одометрии и одновременной локализации и построения карты с ускорением CUDA.

Для другого окружения NVIDIA рекомендует использовать зафиксированный в репозитории программный стек COMPASS и соответствующее оборудование.

Подготовка репозитория

Сначала нужно подготовить репозиторий и заранее задать ИИ-агенту понятный контракт рабочего процесса. На этом этапе разработчик скачивает закрытые ресурсы, делает навык COMPASS доступным для Codex, проверяет стек и останавливается на этапе подтверждения одной среды.

Все блоки `$compass` — это копируемые запросы для чата Codex, запущенного из корня репозитория COMPASS, а не команды оболочки. В Claude Code тот же рабочий процесс вызывается командой `/compass`.

В Codex сначала нужно открыть навыки репозитория через `.agents/skills`, а затем выбрать COMPASS командой `/skills` или упомянуть `$compass` в запросе. Codex поддерживает каталоги навыков, подключённые символическими ссылками, поэтому рабочий навык можно оставить в его поддерживаемом месте. В Claude Code используется тот же вызов `/compass`.

ИИ-агент может клонировать репозиторий, собрать проект, скачать несекретные ресурсы и проверить программный стек. Принять условия доступа к закрытым репозиториям и ввести токен Hugging Face должен разработчик за пределами чата. Агент не должен запрашивать, показывать или сохранять этот токен в журналах.

Нужно клонировать репозиторий COMPASS и пройти краткий запуск из руководства COMPASS в контейнере, зафиксированном репозиторием. До первого запуска следует:

Токен нельзя вставлять в запрос ИИ-агента или добавлять в систему контроля версий.

На этапе загрузки ресурсов зарегистрированные симуляционные данные сохраняются в `./assets/usd/`, а предобученная контрольная точка X-Mobility — в `./assets/x_mobility.ckpt`. Ответ 401 или 403 обычно означает, что доступ к репозиторию не оформлен полностью или у токена недостаточные права. Сначала нужно устранить проблему аутентификации и только потом разбираться с Isaac Lab.

Каждый этап должен создавать проверяемые свидетельства перед переходом дальше. Конкретные критерии зависят от проекта, но каждая точка подтверждения должна отвечать на одни и те же вопросы: все ли нужные входные данные на месте, появились ли ожидаемые результаты, остались ли нерешённые ошибки и достаточно ли свидетельств для продолжения.

После запуска контейнера разработчик открывает ИИ-агента из корня репозитория и описывает робота, сцену, ожидаемый результат навигации и точки подтверждения. Для базового сценария в чат агента копируется подготовленный запрос. Навык `$compass` сопоставляет запрошенный рабочий процесс с репозиторием и запускает нужные проверки. Если запуск завершается ошибкой, `$compass-doctor` выполняет проверку состояния только для чтения и сообщает вероятные причины, не изменяя окружение без разрешения.

Источники сцен

COMPASS поддерживает три варианта сцен:

Для каждого варианта нужно выполнить свои проверки регистрации, карты проходимости и подтверждения сцены до начала обучения.

Быстрее всего начать с зарегистрированного склада `combined_multi_rack`. Робот, сцена и карта проходимости уже добавлены в систему, поэтому этот вариант подходит для проверки установки до подключения новой сцены.

Подготовленный запрос для ИИ-агента запускает базовый сценарий и останавливает его после дымового теста.

SAGE-10K

SAGE-10K содержит 10 000 сгенерированных сцен помещений 50 типов. Это набор сцен, а не политика и не симулятор. Для каждой сцены доступны геометрия, материалы, метаданные планировки и предварительный просмотр.

Сцены гостиных и складов подготавливаются одинаково, поэтому скачивать весь набор не требуется: достаточно выбрать одного подходящего кандидата.

Для SAGE-10K предусмотрены две точки подтверждения человеком. Сначала нужно открыть преобразованный файл USD в NVIDIA Isaac Sim и проверить геометрию, материалы, масштаб и коллизионные меши. После регистрации сцены и создания карты проходимости требуется подтвердить предварительный просмотр одной среды перед запуском полного обучения.

Карта проходимости показывает свободное и заблокированное пространство. На её основе определяются допустимые начальные позиции робота и цели навигации.

Следующий запрос для ИИ-агента должен подобрать короткий список сцен и остановиться на обеих точках подтверждения.

Omniverse NuRec

Omniverse NuRec используется, если COMPASS нужно дообучить и оценить в реконструкции того окружения, где будет работать робот. NuRec преобразует стереоскопические RGB-съёмки в реконструкцию, совместимую с Isaac Sim. В неё входят согласованная визуальная геометрия, коллизионные меши и, при необходимости, дополнительные элементы сцены.

Описанный для COMPASS процесс NuRec регистрирует отрисованную сцену, проверяет предоставленную карту проходимости и соглашение об исходной точке, оценивает зазоры для робота и запускает дымовой тест в одной среде перед обучением.

NuRec в этом материале остаётся дополнительным вариантом. Практическая часть обучения продолжается на SAGE-10K, чтобы провести одну сцену через весь путь — от подготовки до оценки. Для реконструированного окружения NVIDIA предлагает использовать рабочий процесс COMPASS NuRec и руководство NVIDIA Isaac Sim NuRec, включая пример с гостиной. Эти материалы охватывают подготовку сцены, обучение, оценку, экспорт и развёртывание в ROS 2.

Подготовленный запрос для ИИ-агента создаёт зарегистрированную сцену NuRec и останавливает работу перед обучением.

Дымовой тест

После того как выбранная сцена стала доступна COMPASS, нужно выполнить предварительный просмотр в одной среде и только потом масштабировать обучение. Для SAGE-10K сначала завершаются визуальная проверка и регистрация сцены, описанные выше.

Во время предварительного просмотра нужно убедиться, что:

ИИ-агент должен собрать в отчёт журналы предварительного просмотра и визуальные свидетельства, обозначить блокирующие проблемы и остановиться до подтверждения человеком. К остаточному обучению переходят только после проверки, что сцена, робот, наблюдения и интерфейс действий работают совместно.

Остаточное обучение

На этом этапе COMPASS адаптирует предобученную политику X-Mobility к выбранному роботу и сцене. Запускается остаточное обучение с подкреплением, контролируется процесс, сохраняются кандидаты контрольных точек и необходимые материалы для последующей оценки.

После подтверждения дымового теста ИИ-агент может запустить стандартный рабочий процесс остаточного обучения. В примере используются Spot и встроенный склад. При работе с SAGE-10K ключ окружения нужно заменить на зарегистрированную сцену из этого набора.

Остаточное обучение длится долго. Его следует запускать в постоянной сессии или через управляемый планировщик, сохранять журналы и контрольные точки в настроенный каталог результатов и передавать сведения о прогрессе, не удерживая открытой интерактивную сессию.

До начала запуска нужно зафиксировать:

Если процесс прерван, необходимо проверить целостность последней контрольной точки и убедиться, что для продолжения используется поддерживаемый режим возобновления.

Параметр `--num_envs` выбирается с учётом доступной памяти GPU. Для дымового теста используется только одна среда. Во время обучения нужно отслеживать компоненты награды, продвижение к цели, контакты и падения, завершения эпизодов, пропускную способность и использование памяти GPU.

Контрольные точки сохраняются регулярно и оцениваются в одинаковых условиях. Нельзя заранее считать, что лучшей окажется последняя итерация. COMPASS также поддерживает распределённое обучение на нескольких GPU для более крупных запусков. Продолжительность зависит от оборудования, сложности сцены, количества сред и критериев остановки.

Ошибки следует сначала исследовать с помощью диагностического рабочего процесса COMPASS и только затем менять окружение или параметры обучения. Проблемы аутентификации нужно направлять к проверке доступа Hugging Face, ошибки загрузки сцены и коллизий — к подготовке сцены, ошибки камер и интерфейса действий — к этапу дымового теста, а нехватку памяти — к настройке числа сред или режима с несколькими GPU.

Для воспроизводимости следует сохранить конфигурацию обучения, команду запуска, ревизию репозитория, регистрацию сцены, карту проходимости, материалы дымового теста, журналы, контрольные точки и манифест артефактов. Перед изменением зависимостей, ресурсов сцены, наград или параметров обучения требуется подтверждение разработчика.

Оценка контрольных точек

Следующий этап определяет, готова ли остаточная контрольная точка к продвижению. Базовую политику и кандидатов остаточной политики сравнивают в одинаковых условиях, анализируют стандартные метрики COMPASS, отдельно маркируют производные данные и сохраняют подтверждение человека перед упаковкой результата.

Codex отбирает совместимые сцены SAGE-10K и останавливается для одобрения разработчика

Источник: developer.nvidia.com

Оценивать нужно одновременно качество выполнения задачи и безопасность. Стандартный отчёт COMPASS включает:

Дополнительные показатели — продвижение к цели, поведение при контактах, превышения времени ожидания и стабильность команд — должны быть обозначены как производный анализ или данные собственной аппаратуры.

Контрольную точку можно продвигать только после того, как сопоставимые результаты проходят проектные проверки навигации и безопасности, а человек подтверждает упаковку результата. Для этого используется пример запроса, который нужно адаптировать к роботу, сцене, контрольным точкам и набору требуемых свидетельств.

Подключение к роботу

После завершения разработки обученная политика подключается к рабочему контуру робота. Здесь нужно проверить входы и выходы эталонной политики, определить, может ли cuVSLAM предоставить одометрию при развёртывании, и понять, требуется ли для незарегистрированного робота отдельный процесс добавления нового типа.

ИИ-агент координирует разработку и проверки, но не управляет роботом во время работы.

На этапе загрузки ресурсов COMPASS получает предобученную контрольную точку X-Mobility для дымового теста и остаточного обучения. Обучение создаёт остаточную контрольную точку для выбранных робота и сцены. Экспорт и развёртывание упаковывают обученную политику для инференса. Они не превращают базовую и остаточную политики в два компонента ROS 2, которые разработчик должен соединять вручную.

В эталонной интеграции ROS 2 компонент `compass_inference` преобразует изображения с передней камеры, навигационную цель или маршрут и скорость робота, рассчитанную по одометрии, во входы экспортированной политики. На `/cmd_vel` публикуются команды линейной скорости вперёд и угловой скорости.

Рекуррентное состояние и предыдущее действие остаются внутренними данными реализации инференса и не передаются как отдельные входы интеграции ROS. Перед запуском на целевом роботе нужно проверить системы координат, частоту обновления, нормализацию, ограничения команд, поведение при остановке и сам физический контроллер.

Одометрия через cuVSLAM

cuVSLAM применяется, если роботу нужна оценка состояния по камерам в среде без GPS или со сбоями GPS, а сам робот не предоставляет совместимые и проверенные одометрию и преобразования координат. Одометрия cuVSLAM может поддерживать навигатор COMPASS, но карта cuVSLAM не является входом навигационной политики.

cuVSLAM не участвует в обучении политики COMPASS и не требует отдельного навыка агента. Его нужно запускать как самостоятельный компонент ROS 2 с согласованными версиями, подключать или перенаправлять его одометрию в `/chassis/odom`, передавать требуемое преобразование `odom`-`base_link` и проверять калибровку, временные метки, имена топиков и соглашения о системах координат.

Для настройки и диагностики этого компонента во время разработки можно использовать дополнительные навыки `$cuvslam-onboard` и `$cuvslam-troubleshoot`.

При инференсе политика COMPASS использует RGB-вход, одометрию и точку цели, а также опциональные данные карты и маршрута, чтобы формировать команды линейной и угловой скорости для контроллера робота

Источник: developer.nvidia.com

Новый тип робота

Если робот ещё не зарегистрирован, навык `$compass-newembodiment` проводит разработчика через настройку робота, регистрацию окружения, сопоставление действий и визуальный дымовой тест в одной среде.

Добавление нового типа робота — отдельная инженерная задача по сравнению с обучением специалиста для уже зарегистрированного робота. При этом используется тот же принцип проверок и подтверждений.

Материал заканчивается на оценке контрольных точек. Экспорт в ONNX, JIT или TensorRT, интеграция с ROS 2 и запуск на физическом оборудовании требуют отдельных проверок для конкретного робота и рабочего окружения.

Качество сцены, продолжительность обучения и результаты контрольных точек зависят от типа робота, окружения, конструкции награды и доступных вычислительных ресурсов, поэтому рабочий процесс не задаёт универсальный порог успеха.

Рекомендуемый порядок — начать с эталонного маршрута и затем добавлять по одному компоненту за раз.