NVIDIA SOMA Retargeter адаптирует движения человека для роботов

Как движения превращаются в траектории робота

Человеческое движение можно получить из записи выступления, видео, сетевого набора данных или генеративной модели. Такие источники часто используют разные скелеты и форматы файлов. SOMA Retargeter унифицирует входные данные: инструмент считывает анимацию BVH на базовом скелете SOMA, подгоняет цели движения под пропорции робота, рассчитывает положения суставов и применяет настроенные коррекции.

На выходе получается CSV-файл с положением и ориентацией корпуса робота, а также углами суставов для каждого кадра. Эти траектории задают целевое движение для последующего обучения или управления.

Конвейер ретаргетинга преобразует движения SOMA BVH в траектории суставов робота посредством масштабирования, обратной кинематики и постобработки. Для множества клипов полученные анимации могут сформировать библиотеку движений для последующей подготовки эталонных данных и обучения политик

Источник: developer.nvidia.com

Для получения исходных движений разработчики могут использовать несколько подходов:

Пример переноса на Unitree G1

В SOMA Retargeter v0.2 включены образцы движений из BONES-SEED, предоставленные Bones, а также исходные результаты переноса и конфигурации для пяти гуманоидов: Unitree G1, Unitree H2, Booster T1, AgiBot X2 Ultra и AgiBot A3T3. Примеры показывают, как углы суставов и постановка стоп меняются в зависимости от пропорций и диапазона движений робота. Парные записи движений человека и результаты для роботов можно использовать для знакомства с инструментом и сравнения собственных результатов.

Для пробного переноса на G1 можно взять пример ходьбы вперёд. После установки SOMA Retargeter нужно открыть терминал в корне репозитория и запустить программу:

uv run python app/bvh_to_csv_converter.py --config assets/default_bvh_to_csv_converter_config.json --viewer gl

Эта команда запускает средство преобразования BVH в CSV с открытым окном просмотра. По умолчанию выбрана конфигурация unitree_g1. В разделе Scene Options нужно раскрыть пункт Motion, нажать Load в строке BVH Motion и открыть входящий в комплект файл. В окне появится анимация человека на скелете SOMA.

Затем в Scene Options → Motion нужно выбрать Retarget в строке BVH Motion. Инструмент подгонит исходные цели под G1, рассчитает для каждого кадра позы, соответствующие заданным целям обратной кинематики, и применит настроенную постобработку. В окне просмотра появится анимация робота вместе с исходным движением человека. Перемещаемые маркеры позволяют разнести модели и рассмотреть их по отдельности.

Результат можно проверить средствами управления воспроизведением. Для первого осмотра подойдут два признака: узнаваемая ходьба вперёд и плавное движение. Позы робота будут отличаться от человеческих из-за разницы в пропорциях и устройстве суставов. Чтобы сохранить результат отдельно от примера, в разделе CSV Motion нужно нажать Save и задать новое имя, например my_first_retarget.csv. В файле сохраняются положение корпуса и значения суставов на протяжении анимации.

Сравнить результат с эталонной траекторией G1 можно, поочерёдно загружая оба CSV через CSV Motion Load и рассматривая одинаковый момент движения. Эталонный файл находится в репозитории. Общий характер движения должен совпадать, хотя конкретные значения могут различаться в зависимости от конфигурации и версий зависимостей. Подробности этого примера приведены в руководстве по первому переносу.

Конвертер BVH в CSV отображает исходное движение человека рядом с ретаргетированным движением Unitree G1, а также элементы управления для загрузки, ретаргетинга и сохранения результата

Источник: developer.nvidia.com

Настройка робота и коррекция движений

Конфигурация G1 даёт исходную точку для переноса, а эталонный результат позволяет сравнивать изменения настроек. В Robot Configurator можно отредактировать существующую конфигурацию или создать новую: для этого загружают описание робота и задают соответствие между человеческим движением и его частями тела.

В конфигураторе можно выровнять исходные позы человека и робота, настроить масштаб и сопоставить скелет источника с частями тела робота. Полученную конфигурацию можно сохранить и повторно использовать для разных фрагментов движения.

Решатель обратной кинематики использует Newton, построенный на NVIDIA Warp, чтобы подобрать позы суставов под масштабированные цели движения человека. Если робот не может одновременно повторить все цели, веса обратной кинематики задают, какие части тела важнее.

Экспериментальный оптимизатор весов проверяет настройки на небольшом наборе движений, характерных для предполагаемых задач робота. Он меняет веса, повторно переносит движения и оценивает, насколько точно и плавно робот следует целям. Выбранные значения сохраняются в новой конфигурации переноса.

Скольжение стоп может создавать противоречие для системы отслеживания движения: опорная стопа в целевой траектории продолжает двигаться, хотя действие предполагает контакт с землёй. Коррекция опоры обнаруживает такие интервалы контакта и меняет движение стопы. Настройки времени контакта и коррекции можно уточнить до передачи траектории в обучающий пайплайн.

После настройки конфигурации на характерных движениях её можно применить к большой коллекции файлов в пакетном режиме, не открывая окно просмотра для каждого фрагмента.

Как траектории используют для обучения

Во время обучения система отслеживания движения учится превращать эталонную траекторию в управляющие действия. Для этого она учитывает и желаемое движение, и текущее состояние робота.

В обучающий пайплайн SONIC входит преобразователь CSV-файлов SOMA для G1. Он переводит траектории переноса в формат библиотеки движений SONIC. Ещё один вариант — ProtoMotions, фреймворк для отслеживания движений с учётом физики. В обоих случаях входное представление и обучаемая система управления должны соответствовать целевому роботу.

Следующий этап проверки проходит в симуляции. Там обученную систему можно оценить по устойчивости, контакту с землёй, ограничениям приводов и точности отслеживания.

В отдельном эксперименте с MicroDuck движения людей из набора Bones адаптировали для робота и использовали для обучения отдельного контроллера для каждого фрагмента в физической симуляции. Сравнение показывает движение человека, эталонную траекторию MicroDuck и работу обученного контроллера. Эталон задаёт желаемое движение, а симуляция позволяет увидеть, насколько точно контроллер его повторяет.

Подробности о симуляции и обучении систем управления для MicroDuck NVIDIA приводит в материале «Обучение роботов ходьбе в симуляции с помощью ИИ-агентов» и публикации на Hugging Face «Обучение в симуляции и запуск на реальном роботе: Microduck с Isaac Lab 3.0».

Генерация движений в реальном времени

Движения можно также генерировать с помощью модели тела SOMA от MotionBricks, а затем адаптировать их к роботу в SOMA Retargeter. Это позволяет создавать дополнительные эталонные траектории для последующего обучения.

Модель MotionBricks для G1 частично обучали на движениях BONES-SEED, перенесённых на G1 с помощью SOMA Retargeter. Она генерирует непрерывное движение всего тела робота в реальном времени, когда меняются целевые позы.

В статье и видео проекта этот подход показан на физическом роботе Unitree G1. Цели движения задаёт специализированная модель MotionBricks для G1, а SONIC управляет их выполнением.

Начало работы

В репозитории SOMA Retargeter есть инструкции по установке, эталонные конфигурации и примеры интерактивного и пакетного переноса. Руководство Robot Configurator объясняет, как добавить новую конфигурацию гуманоидного робота, а руководство по пакетной обработке — как подготовить для него коллекцию движений.

В работе над публикацией участвовал Луи Марку.

По оценке Dataist, SOMA Retargeter связывает запись человеческого движения с обучением системы управления роботом, сохраняя явные промежуточные этапы: настройку соответствий, исправление контактов и проверку в симуляции. При этом перенос не делает движения робота идентичными человеческим: результат зависит от пропорций робота, выбранной конфигурации и настроек обратной кинематики.