GR00T 2 от Nvidia смотрит видео с людьми, а затем представляет себя роботом

Как GR00T 2 переносит движения

Обычно инженерам приходится часами управлять роботом дистанционно, чтобы обучить его новой задаче. Такой способ, называемый телеуправлением, дорогой и медленный, а данные для него приходится собирать отдельно для каждой модели робота. В исследовательском отчёте Nvidia представляет GR00T 2 как базовую модель, призванную сократить эту работу.

В отличие от предыдущих подходов, включая GR00T 1, модель не переводит изображение с камеры и языковую команду напрямую в движения. Nvidia называет её моделью «действие — будущее видео»: GR00T 2 рассчитывает следующее движение и одновременно предсказывает короткий видеоряд ближайшего будущего. Например, система оценивает, как должно измениться изображение с камеры, когда рука робота поднимает предмет.

Для обучения Nvidia использовала кластер более чем с тысячей чипов GB300. В обучающие данные вошло около 400 000 часов видео: люди выполняют разные задачи, а камеры закреплены у них на голове.

Чтобы показать роботу новую задачу, человек может продемонстрировать нужные действия с помощью перчаток с датчиками, специальных захватов для рук или экзоскелета для пальцев. Во время обучения эти записи объединяют с общими данными о движениях целевого робота. На видео-прогнозе модели человеческую руку заменяет роботизированная, после чего система выводит соответствующие команды управления.

В лаборатории робот с пятипалыми руками таким способом зажигал спичку, резал банан и забрасывал посылки на транспортную ленту. Для этих конкретных задач его заранее не обучали телеуправлением.

Сборка сложных объектов и версия для гуманоидов

Успешность выполнения задач в испытаниях составляла от 10 до 80%. Модель также научилась забивать гвозди по одному видео движения человеческой руки — через компьютерную симуляцию. Для 50 отобранных задач, которые GR00T 2 уже хорошо выполняла после нескольких примеров, менее трёх минут обычного обучения повысили успешность с 40 до 95%.

Для продолжительной сборки Nvidia объединила GR00T 2 с языковой моделью более высокого уровня, например GPT-6 Astra от OpenAI. GR00T 2 отвечает за движения захвата, а языковая модель делит задачу на шаги, отмечает цветом точки захвата на изображении с камеры и запускает вспомогательные процедуры, если деталь выпала.

Когда исследователи разложили на столе в случайном порядке детали игрушечных моделей, объединённая система собирала их как минимум в 97% испытаний. Без корректирующей языковой модели и дополнительного файн-тюнинга игрушечная машина собиралась успешно лишь в 23 из 100 попыток. Точные действия — например, подключение сетевых кабелей и зарядных устройств — команда отрабатывала методом проб и ошибок на реальном роботе.

Для двуногих роботов Nvidia разработала облегчённую GR00T 2 Turbo, которая обрабатывает меньше деталей изображения. Модель работает непосредственно на бортовом компьютере Jetson Thor гуманоидного робота. В испытаниях робот набирал попкорн, убирал со стола и вытирал жидкость полотенцем, зажатым под ногой. Последняя задача удавалась чуть менее чем в половине попыток.

Что мешает надёжной работе

Исследователи считают, что до надёжного применения в реальных условиях остаются серьёзные препятствия. Модель пока не обрабатывает напрямую данные тактильных датчиков и иногда не замечает небольшие ошибки, например винты, закрученные не до конца.

Языковая модель-планировщик тоже замедляет работу. Во время сортировки мусора робот простаивал примерно треть всего времени: в среднем ему приходилось ждать больше семи секунд, пока модель рассчитает следующий шаг.

Другие лаборатории также ищут способы обучать роботов новым задачам с меньшим объёмом телеуправления. Некоторые из этих подходов редакция Dataist рассматривала в выпуске ИИ Radar #5 о Neolabs.

По оценке Dataist, GR00T 2 показывает, как видеоданные могут помочь переносить человеческие движения на роботов и уменьшить объём телеуправления при обучении. Однако в испытаниях успешность заметно различалась между задачами, а ожидание языковой модели занимало значительную часть времени. Для работы в реальных условиях системе нужно научиться учитывать осязание и лучше замечать ошибки.