Решит ли агентная робототехника проблему масштабирования данных в робототехнике?

Почему данных может быть недостаточно

Десятилетиями роботов программировали на основе моделей физических и математических свойств машины и среды. Инженеры строили такие модели, а затем подробно задавали поведение робота в коде. Настроенные вручную системы могли работать быстро и надёжно, но требовали времени и специальных знаний. Обучение на примерах человеческих действий упростило разработку и сделало системы адаптивнее, однако их надёжность имеет предел.

Кен Голдберг, профессор робототехники UC Berkeley, чья лаборатория представляет работу об агентной робототехнике, считает, что обучение по подражанию достигло плато. По его словам, этот подход может подойти домашним роботам, где скорость и надёжность не так критичны, но промышленности нужна более высокая надёжность. Голдберг — сооснователь компании Ambi Robotics, работающей в сфере промышленной робототехники; с подобными трудностями сталкивались и компании, с которыми он сотрудничал, в том числе Siemens и Bosch.

Дополнительные данные сначала могут улучшить работу робота, но затем возникают новые ошибки. Голдберг отмечает, что пока неясно, приведёт ли дальнейшее увеличение объёма данных к нужной надёжности. Инвесторы рассчитывали, что роботы, как ChatGPT, со временем начнут стабильно работать благодаря накоплению данных, однако, по словам Голдберга, участники отрасли начинают сомневаться, что система сама достигнет такой точки.

Как устроена агентная робототехника

Языковые модели обучаются на данных масштаба интернета, но сопоставимого по размеру набора данных для робототехники нет. Компании пытаются собирать такие данные, однако это медленно и дорого. Агентная робототехника, термин, который популяризируют Голдберг и Спенсер Хуан, директор по продуктам робототехники в NVIDIA, предлагает решать задачи роботов через программирование. Так можно использовать возможности языковых моделей и инструментов для написания кода.

За последний год качество таких ИИ-агентов, по словам Голдберга, выросло настолько, что им уже можно поручать написание кода для роботов. Поскольку система основана на языковых моделях, с ней можно взаимодействовать на естественном языке. Например, исследователи UC Berkeley попросили роботизированную руку разложить продукты в пакет.

Сначала система делит задачу на более простые и поручает их отдельным агентам для программирования. Один может распознавать продукты и пакет, другой — управлять захватом предметов, третий — перемещать их роботизированной рукой. В программном обеспечении на основе языковых моделей такой агент может самостоятельно планировать, писать, проверять и изменять код, почти не привлекая человека.

По словам Хуана, за последние десятилетия для робототехники уже создали множество инструментов: классификаторы объектов, оценку позы, планирование задач и движений, а также построение траекторий. Раньше человеку приходилось самостоятельно объединять их в коде. Теперь агенты могут задействовать эти наработки и создавать программы под конкретные задачи.

Проверка в симуляции

Когда агенты составляют первоначальный вариант решения, они запускают его в симуляции, меняют начальные условия, находят ошибки и уточняют код. Повторяя этот процесс, они могут получить работающую программу. Но её надёжность в реальном мире ограничена тем, насколько хорошо симуляция воспроизводит физическую среду.

Создавать точные симуляции непросто: требуется настраивать множество параметров, часто отдельно для каждой задачи. Голдберг попробовал предоставить ИИ-агенту доступ к этим настройкам и поручить ему подогнать симуляцию под видео реального мира. Агент согласовал с видео окружение, освещение и фон — работу, которую исследователи сочли слишком утомительной для выполнения вручную. При сравнении симуляции с видео различия было трудно заметить.

Однако разрыв между симуляцией и реальностью остаётся нерешённой проблемой. Торстен Крюгер, главный научный сотрудник Intrinsic, компании Alphabet, не участвовавший в исследовании, указывает, что ни один физический движок не способен точно моделировать контакт с реальным миром. При этом агенты могут исправлять неудачные решения: им можно показать видео провалившейся задачи, чтобы они обновили симуляцию, а затем снова изменили код.

Хуан признаёт, что ИИ-агенты могут создавать некачественный код. Чтобы уменьшить этот риск, исследователи используют состязательную схему: один агент предлагает решение, а другой пытается найти в нём недостатки.

В испытаниях UC Berkeley агентная робототехника достигала доли успешных выполнений до 99% — результата, сопоставимого с системами, разработанными инженерами вручную. У базовых методов обучения по подражанию успешность составляла лишь 20%. Голдберг подчёркивает и другие свойства подхода: не нужно собирать новые данные, а созданный код можно прочитать и при необходимости исправить.

Где подход применим сейчас

Хуан считает, что в ближайшее время агентная робототехника будет полезнее всего в промышленном производстве и задачах манипуляции, где важны точность и надёжность. Например, партнёрам NVIDIA в полупроводниковой отрасли нужно размещать компоненты с точностью до 0,3 мм. По словам Хуана, человекоподобная платформа NVIDIA GR00T пока не может выполнять такую работу с нужной повторяемостью и надёжностью; агентный подход может помочь с более близкими к практике задачами.

Ещё одно возможное преимущество — быстрая перенастройка роботов при изменении производства. На предприятии Wistron на Тайване, выпускающем платы для графических процессоров NVIDIA, перенастройка одного робота при добавлении нового продукта занимает как минимум 8 часов. По словам Хуана, с агентной робототехникой это может занимать минуту или две.

Выход за пределы таких ограниченных задач может оказаться сложным. Хуан предполагает, что код, созданный агентами, можно использовать как обучающие данные для следующих моделей. Он рассматривает этот подход как один из шагов к более общим возможностям, но ожидает, что робототехнический общий интеллект сначала будет выглядеть как агент, который координирует традиционные технологии и специализированные политики.

Крюгер призывает осторожно относиться к доверию к агентам в вопросах безопасности. Инженер-человек может проверить их работу, но остаётся открытым вопрос, как убедиться, что агенты всегда действуют правильно, когда им начинают доверять.

Голдберг сейчас работает с компаниями над практическим применением подхода. Для оценки ИИ-агентов исследователи разрабатывают набор бенчмарков с использованием NVIDIA Isaac Lab-Arena и физического движка Newton. Голдберг не утверждает, что решение уже найдено, но говорит, что воодушевлён результатами; Хуан считает, что подход меняет сам способ работы с роботами.

По оценке Dataist, агентная робототехника пока не отменяет потребность в проверке физических моделей и решений ИИ: результаты зависят от качества симуляции, а надёжность в вопросах безопасности остаётся открытым вопросом. Наиболее конкретное преимущество сейчас — возможность быстрее программировать и перенастраивать роботов для ограниченных промышленных задач без сбора новых демонстраций.