Разрабатывайте навыки гуманоидных роботов от начала до конца с NVIDIA Isaac GR00T

NVIDIA объединила разработку навыков гуманоидных роботов в Isaac GR00T

Разработка гуманоидных роботов постепенно переходит от первоначальной настройки платформы к созданию навыков под конкретные задачи. При этом сами процессы остаются сложными и разрозненными: разработчики тратят много времени на подготовку робототехнической инфраструктуры, прежде чем перейти к созданию новых возможностей робота.

В экосистеме уже есть инструменты для отдельных этапов работы, однако объединить их в единый процесс мешают изолированные программные экосистемы, несовместимые форматы данных и ручная интеграция. NVIDIA решила эту проблему с помощью Isaac GR00T Development Platform — открытой платформы для гуманоидных роботов, которая объединяет весь конвейер обработки данных.

Платформа охватывает путь от сбора данных и обучения в симуляции до масштабной оценки и подготовки к работе на реальном роботе. Она полностью открытая и модульная: команды могут использовать отдельные компоненты, подключать собственные инструменты или работать со всем проверенным программным стеком NVIDIA.

Isaac GR00T помогает масштабировать сбор данных и обучение в симуляции, а затем разрабатывать, проверять и разворачивать политики управления на реальных роботах.

Что такое GR00T 1.7

Центральный элемент рабочего процесса — открытая зрительно-языково-моторная модель Isaac GR00T 1.7. Благодаря предварительному обучению на разнообразных данных она переносит знания на новые задачи и среды, а движения робота делает более естественными.

GR00T 1.7 стала первой открытой и коммерчески применимой моделью такого типа для обобщённых навыков гуманоидных роботов. Она распространяется по разрешительной лицензии Apache 2.0. Модель работает с разными конфигурациями роботов, принимает мультимодальные данные, включая язык и изображения, и формирует действия для выполнения задач в различных средах.

Разработчикам не нужно обучать политику с нуля. В GR00T 1.7 уже заложены общие знания о манипуляциях, которые можно адаптировать под конкретного робота, задачу и среду с помощью постобучения.

Модель доступна на GitHub и Hugging Face. Её веса опубликованы открыто, базовая контрольная точка содержит 3 млрд параметров.

Использование GR00T 1.7 в полном рабочем процессе GR00T упрощает постобучение и оценку политики, а также переход от базовой модели к поведению робота в развёрнутой системе.

Сборка задачи в симуляции

В руководстве NVIDIA показан рабочий процесс создания простой задачи «взять и положить» — от настройки среды до подготовки к развёртыванию. Пример рассчитан на платформу GR00T и модель GR00T 1.7.

Те же шаги можно применять на физических роботах и переносить между разными конфигурациями роботов и задачами.

До сбора обучающих данных нужно подготовить среду: добавить в сцену объекты и робота, описать задачу и выбрать устройство для телеуправления.

В примере робот стоит перед полкой и двумя руками переносит яблоко на тарелку, расположенную на той же полке. За равновесие отвечает контроллер всего тела WBC. Поскольку робот во время задачи не ходит, используется AGILE WBC — сквозная политика, подходящая для статической задачи лучше, чем контроллер, рассчитанный на стояние и ходьбу.

Контроллер WBC нужно выбрать заранее. Во время телеуправления AGILE WBC и PinkIK формируют целевые значения суставов, которые затем становятся обучающим сигналом для политики. Поэтому другой контроллер создаст другое распределение данных даже при тех же движениях.

Пример реализации использует API Isaac Lab-Arena для сборки сцены, регистрации объектов и подключения устройства телеуправления. Это отдельные фрагменты; полная настройка среды приведена на GitLab Pages.

После подготовки среды Isaac Teleop позволяет записывать демонстрационные данные. Во время сбора AGILE WBC управляет всем телом робота. Демонстрации записываются с поддерживаемой VR-гарнитуры через клиент CloudXR: сначала запускается среда CloudXR, затем начинается запись траекторий.

Сбор демонстрационных данных робота с помощью Isaac Teleop с использованием VR-гарнитуры и потоковой передачи CloudXR

Источник: developer.nvidia.com

Качество данных здесь так же важно, как их количество. Нужны чистые демонстрации с плавными движениями, устойчивыми захватами и разными направлениями подхода к объекту: шумные или непоследовательные записи ограничивают качество обучения политики.

Для этой задачи NVIDIA собрала 400 траекторий в несколько сессий, а не за один раз. При этом начать можно с меньшего набора, чтобы проверить работу всех компонентов до сбора полного массива демонстраций.

Успешные демонстрации сохраняются в файл HDF5. На следующем этапе он преобразуется в формат LeRobot, который GR00T 1.7 использует для постобучения.

Подготовка данных и постобучение

GR00T 1.7 работает с наборами данных в формате LeRobot, поэтому записанный файл HDF5 преобразуется внутри контейнера Arena. Преобразованием управляет конфигурационный файл g1_static_apple_config.yaml, который сопоставляет записанные поля с форматом, ожидаемым GR00T.

В результате появляется папка lerobot с файлами Parquet, где хранятся состояния и действия, видеозаписи с камер в MP4 и метаданные набора данных. После этого набор можно использовать для постобучения GR00T 1.7.

Постобучение запускается за пределами контейнера Arena, в отдельной копии репозитория Isaac-GR00T. Во время файн-тюнинга обновляются зрительный модуль, проектор и диффузионная модель, а языковая модель остаётся замороженной.

Оценка политики

После постобучения оценка состоит из двух шагов: контрольную точку загружают на сервер GR00T, затем запускают политику в замкнутом цикле. В Arena используется архитектура «сервер — клиент»: сервер размещает дообученную модель, а клиент Arena запускает симуляцию и отправляет модели запросы.

Политика запускается через клиент из контейнера Arena. По мере оценки метрики выводятся в консоль, а в конце система сообщает итоговую производительность постобученной политики.

Объём оценки можно менять несколькими параметрами. Флаг --num_steps задаёт длину прогона: значение 600 подходит для быстрой проверки и примерно соответствует одному эпизоду в этой задаче. Для расчёта показательного показателя успешности используются полные эпизоды: --num_episodes 100 или --num_episodes 1000 для более точной оценки. Параметр --num_envs 5 запускает среды параллельно и добавляет больше случайности между испытаниями. Остальные настройки менять не нужно — меняется только число усредняемых прогонов.

Так завершается полный цикл в Isaac GR00T Development Platform. Каждый этап создаёт подготовленный результат, который напрямую передаётся следующему этапу. Показанный пример рассчитан на конкретную конфигурацию робота, но тот же процесс можно адаптировать под собственную систему: определить задачу, собрать демонстрации, повторно использовать преобразование данных, постобучение и оценку.

Платформу GR00T и эталонный рабочий процесс уже применяют партнёры из растущей экосистемы гуманоидной робототехники.

Платформа GR00T и модель GR00T 1.7 доступны разработчикам уже сейчас. Работу можно начинать как в симуляции, так и на физическом роботе: нужно выбрать точку входа, определить ограниченную задачу и собрать первую полную политику управления.

Для начала NVIDIA подготовила подробное руководство Как разрабатывать и развёртывать гуманоидных роботов от начала до конца с помощью NVIDIA Isaac GR00T, а также видео Введение в платформу GR00T.