Runway превратила видео-ИИ в контроллер робота с открытым кодом Praxis-1

Как Praxis-1 управляет роботами

Runway впервые представила Praxis-1 в конце сентября, но тогда доступ получили только отдельные партнёры. Теперь компания опубликовала веса модели, исходный код и подробный исследовательский отчёт с новыми результатами тестирования.

Praxis-1 принимает изображения с камеры, текстовые инструкции и информацию о положении робота. На основе этих данных она предсказывает, как изменится окружающая обстановка, и рассчитывает подходящие движения. Когда поступают новые кадры, модель обновляет управление.

В основе Praxis-1 — видеомодель, обученная понимать движение и взаимодействие объектов по обычным видеозаписям. Затем Runway провела её дообучение на видео действий людей и данных роботов. Такой подход может снизить потребность в дорогих наборах данных, собранных специально для обучения робототехники, хотя Praxis-1 всё равно требуется дополнительное обучение на данных конкретных роботов.

Runway известна генеративными видеомоделями, включая Gen-4.5. Praxis-1 компания называет моделью действий мира: она предсказывает изменения сцены и на их основе выводит движения робота. С сентября модель тестировали робототехнические компании Standard Bots, Noble Machines и Ultra — на гуманоидном роботе, промышленной роботизированной руке и складском роботе с двумя руками.

Результаты испытаний

Для адаптации Praxis-1 к роботизированной руке Franka Runway использовала около 277 часов записей из общедоступного исследовательского набора DROID. На них роботы, например, захватывают и перемещают предметы. Для робота с двумя руками использовали от 1 400 до 2 600 часов обучающих материалов. Данные DROID и других робототехнических систем применялись и на ранних этапах обучения. При этом пока неясно, требует ли Praxis-1 в целом меньше данных роботов, чем сравнимые модели без предварительного обучения на видео.

В рейтинге Nvidia RoboLab-120 модель набрала 46,2% успешных выполнений. Бенчмарк проверяет в симуляции, насколько надёжно модели справляются с 120 задачами — сортируют, захватывают и складывают предметы. FLUX 3 Action, также построенная как модель действий мира, получила 42,9% в тех же условиях. Среди моделей этой категории Praxis-1 заняла первое место, а в общем рейтинге — пятое, уступив двум ИИ-агентам и двум робототехническим моделям с другими архитектурами. Все тесты проводила Runway; результаты пока не прошли независимую проверку.

В отдельном испытании на реальной роботизированной руке Franka после дообучения на данных DROID сравнили Praxis-1 и FLUX 3 Action. Обеим моделям дали десять одинаковых задач, среди которых были положить банан на тарелку и закрыть ящик. Каждую задачу повторяли десять раз: Praxis-1 справилась 88 раз, FLUX 3 Action — 80.

Runway также проверила, можно ли перенести модель на незнакомый ей тип робота. Для этого использовали данные мобильной платформы с рукой-захватом, которую Google ранее применяла при разработке RT-1. Эти записи не входили в предыдущие этапы обучения Praxis-1. После дообучения примерно на 95 часах данных робот в симуляции достиг средней успешности 80%. Проверяли четыре типа задач, включая захват банок с газировкой, открывание и закрывание ящиков и помещение яблока в ящик. Исходная модель Google RT-1 набрала на том же бенчмарке 52,4%.

Доступ и ограничения

Разработчики могут скачать Praxis-1 на Hugging Face после регистрации и согласия с условиями доступа. Код опубликован на GitHub. По сообщению Runway, вместе с базовой моделью уже доступны версии, предварительно адаптированные для разных роботов. Саму базовую модель перед работой с новой системой нужно дообучить.

Стандартной версии требуется GPU с 80 ГБ памяти. Согласно оценкам Runway, сжатая версия должна помещаться на RTX 5090 с 32 ГБ видеопамяти. Однако фактический пиковый расход памяти пока не измерен; об этом говорится в документации GitHub.

По данным исследовательского отчёта Runway, Praxis-1 иногда путает похожие предметы и затрудняется с расплывчатыми инструкциями. В длинных задачах отдельные шаги приходится описывать явно: модель пока не умеет надёжно самостоятельно планировать сложные последовательности действий.

Runway рассматривает Praxis-1 прежде всего как систему для быстрого выполнения движений. В будущем она может работать вместе с универсальными моделями ИИ, которые будут разбивать сложные задачи на отдельные шаги.

По оценке Dataist, результаты показывают, что обучение на видео можно использовать для управления роботами, но адаптация к новым системам всё ещё требует специализированных данных. Кроме того, приведённые сравнения проводила сама Runway, а независимой проверки результатов пока нет.