NVIDIA учит роботов вроде Microduck ходить в симуляции с помощью ИИ-агентов

Чтобы пройти полосу препятствий, роботу нужна не только способность ходить. Он должен воспринимать окружение, удерживать равновесие и менять движения, когда на пути возникают препятствия. Для этого нужно создать объекты и среду, смоделировать физическое взаимодействие робота с ней, а затем обучить и проверить политику поведения.

Источник: developer.nvidia.com

NVIDIA RTX Spark служит локальной площадкой для планирования с помощью ИИ и проверки политик. NVIDIA Isaac Lab предоставляет фреймворк для обучения роботов с подкреплением в облаке, Newton моделирует физику, а библиотеки NVIDIA Omniverse создают визуальные наблюдения для симуляции с помощью рендеринга RTX. Обученную политику возвращают на RTX Spark и проверяют в NVIDIA Isaac Sim.

В описанном процессе используются Microduck, Hermes, NVIDIA Nemotron и Astra. Они помогают подготовить полосу препятствий, обучить политику навигации и оценить её поведение в симуляции. Такой подход можно адаптировать для других роботов и задач. Перед запуском на физическом роботе потребуется дополнительно учесть различия между симуляцией и реальным миром.

1. План полосы препятствий

Работа начинается с промта, в котором описаны полоса препятствий и навыки, которым должен научиться Microduck. На RTX Spark Hermes и NVIDIA Nemotron 3.5 Bolt превращают его в поэтапный план проекта. В инструкциях задаются цель, доступные ресурсы, ожидаемые результаты и этапы работы. Вот пример такого промта:

Концептуальное изображение и извлечение объектов из полосы препятствий

Источник: developer.nvidia.com

Build and test a simulated Microduck obstacle course with navigation and locomotion challenges. Make a photorealistic concept image and have Astra build and test it.
...
Workflow
Use Hermes and Nemotron 3.5 Bolt for preparation and Astra for asset creation and simulation.
...
1. Research and plan
Review official Microduck documentation and summarize capabilities, constraints, and unknowns. Define the course layout, obstacle dimensions, clearances, and intended route.
...
2. Generate the concept
Use a verified Microduck reference image to generate a photorealistic course concept. Check robot appearance, relative scale, and movement space; save prompts and provenance.
...
3. Identify assets
Extract unique reusable assets, group repeated instances, and select representative crops. Record dimensions, locations, and reference limitations; preserve original images.
...
4. Prepare the handoff
Package the plan, robot brief, concept, asset inventory, crops, and execution instructions. Verify required files, delegate to Astra, and wait for confirmed results.
...
5. Create and verify assets
Have Astra enhance references, model geometry in FreeCAD, and apply materials in Blender. Before simulation, verify every asset is completed or demonstrably blocked, with at least one usable model.
...
6. Assemble and test
Verify robot capabilities, assemble the course, and test navigation, challenges, and resets. Provide reproducible instructions and evidence; do not operate physical hardware.
...

Промт поручает Hermes и Nemotron подготовить проект, а Astra — создавать объекты и проводить симуляцию. Сначала нужно изучить официальную документацию Microduck и описать возможности робота, ограничения и неизвестные параметры. Затем определить планировку полосы, размеры препятствий, зазоры и маршрут.

Преобразование задания в план среды

Источник: developer.nvidia.com

На этапе подготовки концепции требуется взять проверенное изображение Microduck и создать фотореалистичный образ полосы. Нужно проверить внешний вид робота, его масштаб относительно окружения и пространство для движения, а также сохранить использованные промты и сведения об источниках.

Далее следует выделить уникальные объекты для повторного использования, объединить повторяющиеся экземпляры и выбрать характерные фрагменты изображений. Для каждого объекта нужно записать размеры, расположение и ограничения референса, сохранив исходные изображения.

В пакет передачи входят план, описание робота, концепция, опись объектов, вырезанные изображения и инструкции по выполнению. После проверки необходимых файлов работу передают Astra и ждут подтверждения результатов. Astra должна улучшить референсы, создать геометрию в FreeCAD и добавить материалы в Blender. До начала симуляции нужно убедиться, что все объекты готовы или что причина задержки понятна, а среди результатов есть хотя бы одна пригодная модель.

Объекты для полосы препятствий, созданные с помощью Astra и собранные в Isaac Sim

Источник: developer.nvidia.com

Последний этап — проверить возможности робота, собрать полосу, испытать навигацию и сброс состояния. В промте также требуется предоставить воспроизводимые инструкции и подтверждения результатов, не запуская физическое оборудование.

Локальное планирование включает краткий разбор репозитория и документации Microduck. Он помогает определить возможности робота, доступные материалы и вопросы, которые ещё предстоит проверить. План охватывает не только подготовку объектов, но и создание среды, подготовку робота, симуляцию, обучение, проверку и развёртывание.

Собранная среда в Isaac Sim

Источник: developer.nvidia.com

Полоса должна проверять и движение, и восприятие: Microduck предстоит обходить препятствия, проходить через узкие места и удерживать равновесие. Эти требования определяют планировку и набор нужных объектов.

Локальная модель генерации изображений создаёт концепцию полосы. Затем Hermes и Nemotron разбирают изображение и составляют список видимых объектов, пригодных для повторного использования. Каждому объекту присваивают идентификатор, описывают его видимые особенности и прикладывают вырезанный фрагмент. В списке отмечают, где объект обрезан или закрыт: так следующие этапы смогут отличить видимые детали от предположений.

Hermes собирает результаты в пакет передачи: общий план проекта, исследование Microduck и ссылки на источники, изображение концепции, список объектов, вырезанные фрагменты и инструкции для следующих этапов. После этого он автоматически передаёт работу Astra. Пакет даёт ей контекст проекта и спецификации объектов.

Цикл симуляции: от наблюдений к действиям политики, симулируемому движению и обновлённым наблюдениям

Источник: developer.nvidia.com

2. Подготовка объектов для симуляции

По плану и референсам предыдущего этапа Astra создаёт 3D-объекты для полосы. Вырезанные из общей концепции фрагменты могут быть маленькими и низкого разрешения. Поэтому перед моделированием Astra использует облачный редактор изображений, чтобы отделить объекты от фона и получить более чёткие изображения высокого разрешения.

Astra сравнивает улучшенные референсы с исходными фрагментами: проверяет силуэты, пропорции, цвета и характерные детали. Улучшенные изображения помогают моделированию, а исходные показывают, что действительно было видно на концепции. Размеры и скрытые поверхности, которые нельзя установить по изображениям, записывают как допущения при моделировании.

Astra поручает FreeCAD создать базовую геометрию и редактируемую структуру САПР, а затем использует Blender для мелких геометрических деталей и материалов. Обе программы запускаются локально через программное управление. Готовые объекты сохраняют в редактируемых форматах и экспортируют как объекты USD; для проверки также подготавливают предварительные просмотры и результаты проверок файлов.

Можно также использовать SimReady Central Library — бесплатную библиотеку более чем из 2 000 готовых для симуляции объектов OpenUSD без ограничений доступа. Сочетание готовых объектов с новыми уменьшает объём подготовки для сборки полосы в Isaac Sim. Полученные объекты становятся строительными блоками учебной среды Microduck.

Моделирование в FreeCAD (слева), материалы в Blender (в центре) и итоговый объект (справа), скоординированные Astra

Источник: developer.nvidia.com

3. Сборка среды симуляции

Astra собирает полосу препятствий в Isaac Sim из подготовленных объектов. Isaac Sim предоставляет доступ к возможностям библиотек Omniverse для рендеринга и симуляции датчиков, а Newton моделирует физическое поведение Microduck, в том числе движение и равновесие.

В симуляции строение и движение робота задаются через звенья, шарниры и исполнительные механизмы. Они определяют, как действия политики влияют на виртуального робота. Звенья представляют соединённые тела, шарниры ограничивают их взаимное движение, а исполнительные механизмы приводят робота в движение. Вместе эти элементы описывают взаимодействие робота с окружением. Настроить их могут помочь ИИ-агенты.

Смоделированные показания датчиков сообщают роботу о препятствиях впереди. Когда он пытается идти, симуляция фиксирует последствия действий: сохраняет ли Microduck позу, продвигается ли по полосе, спотыкается или падает.

В результате получается учебная среда, в которой робот может действовать, полоса препятствий — взаимодействовать с ним, а симуляция — собирать отклик на эти взаимодействия. Обучение с подкреплением использует этот отклик для настройки политик управления роботом.

4. Обучение политики восприятия и движения

Когда Microduck и среда готовы, NVIDIA Isaac Lab предоставляет инструменты для массового обучения и проверки политик робота. Этот открытый фреймворк одновременно запускает множество симуляций Microduck. Полученные данные использует алгоритм обучения с подкреплением, чтобы улучшать общую политику.

Для каждой задачи задают, что робот наблюдает, какие действия ему доступны и какие награды направляют обучение. Затем задачу реализуют с помощью интерфейсов Isaac Lab. Newton — открытый физический движок с ускорением на графическом процессоре — моделирует, как Microduck движется и взаимодействует с землёй и окружением в ответ на действия.

Первые попытки могут включать неустойчивые шаги, столкновения и падения. Алгоритм обучения использует эти результаты и награды, заданные для задачи, чтобы постепенно улучшать политику. Каждая попытка проходит один и тот же цикл:

Наблюдения симуляции → действия политики → движение в симуляции → обновлённые наблюдения

Параллельная симуляция одновременно даёт политике опыт множества попыток. В этой задаче препятствиями служат наклонные и неровные поверхности: Microduck должен пройти по изогнутому пандусу, удерживая равновесие и не падая. Изменение рельефа помогает политике научиться подстраивать движения под разные условия поверхности.

Для обучения на пандусах и препятствиях используют объекты, созданные Astra, и стартовую среду-пример Microduck из Isaac Lab. Предварительно обученную в этой среде политику движения дополнительно обучают в Isaac Lab проходить пандусы и препятствия. Для этого используют данные глубины с камеры на голове робота и сведения о его состоянии. В запуске участвовали 4 096 параллельных сред на рабочей станции с графическим процессором NVIDIA RTX PRO 6000 Blackwell Workstation Edition.

5. Проверка политики на RTX Spark

После обучения политику проверяют в Isaac Sim на локальной системе RTX Spark. Microduck получает смоделированные наблюдения, предсказывает действия, перемещается по среде и реагирует на её изменения согласно политике. Проверка показывает, замечает ли робот препятствия, корректирует ли движения и может ли пройти полосу.

На этом этапе обучение отделяется от оценки. Во время обучения политика меняется на основе нового опыта. При оценке проверяют поведение выбранной политики и определяют, где она справляется, а где нуждается в доработке.

Следует записывать, завершил ли робот полосу, падал ли он, сталкивался ли с препятствиями и в каких ситуациях переставал продвигаться. Эти показатели вместе с видео запусков помогают улучшать среду или настройки обучения.

6. Подготовка к запуску на физическом роботе

Когда политика начинает надёжно работать в симуляции, следующий шаг — запустить её на бортовом компьютере робота. Описание NVIDIA охватывает подготовительные этапы: создание объектов, сборку среды, обучение и оценку политики. Подробный запуск на оборудовании в него не входит.

Подготовка перехода от симуляции к реальному роботу начинается с настройки симуляции под его поведение. Isaac Lab поддерживает улучшенные модели исполнительных механизмов (Better Actuator Models, BAM). Они учитывают отклик сервоприводов, включая задержки команд, механический люфт — небольшое свободное движение в трансмиссии — и падение напряжения, когда моторы потребляют энергию от общей батареи. Настройка этих параметров по измерениям Microduck может сократить разрыв между симуляцией и реальностью.

Даже точно настроенная модель не устраняет различия в работе датчиков, контакте с поверхностью и времени управления. Случайное изменение параметров среды в Isaac Lab варьирует физические параметры и шум наблюдений в реалистичных пределах. Благодаря этому политика учится справляться с такими различиями. Испытания на роботе помогают определить, что ещё нужно изменить, и направляют следующий цикл симуляции, обучения и проверки.

На рисунке 10 показана политика движения, обученная в Isaac Lab и запущенная на физическом Microduck.

Начало работы

Этот процесс объединяет планирование с помощью ИИ, симуляцию, подготовку объектов, а также обучение и оценку политики робота. Объекты и среду создают локально, политики обучают в облаке, а затем проверяют локально на RTX Spark. ИИ-агенты превращают промты в планы, Isaac Lab используется для обучения, а Isaac Sim — для оценки перед развёртыванием.

В документации платформ можно найти примеры и дополнительные материалы:

Благодарности

Над процессом работали команды NVIDIA. В числе участников: Аарон Янг, Антуан Ришар, Чейз Телегин, Гавриэль Стейт, Хаммад Мазхар, Келли Го, Милад Рахша, Ойиндамола Омотоюи, Пьер Фло, Ришабх Чадха, Рохелио Олгуин, Рубен Д’Са и Йенал Кал.