Переосмысление независимости: ИИ Meta меняет вспомогательную робототехнику Питтсбурга

Meta помогает Питтсбургскому университету развивать роботов-помощников

В Питтсбурге Лаборатории инженерии человека при Университете Питтсбурга вместе с ATDev создают роботизированную платформу RAMMP для людей с инвалидностью. Проект получил до $41,5 млн от американского агентства ARPA-H и объединяет робототехнику, ИИ и проектирование с участием пользователей. RAMMP должна сделать мобильные устройства безопаснее и самостоятельнее: платформа будет распознавать окружающие объекты, помогать с навигацией и выполнять команды на месте, без постоянного подключения к сети. В системе используют открытые модели компьютерного зрения Meta — DINO и Segment Anything Model (SAM).

[facts]$41,5 млн :: финансирование проекта | 5,5 млн :: пользователей кресел-колясок в США | 100 000 :: травм в год

Для примерно 5,5 млн пользователей кресел-колясок в США сохранение мобильности напрямую связано с возможностью учиться, работать и участвовать в повседневной жизни. Если вспомогательная техника не учитывает сложность реального мира, это может снижать уверенность пользователя, его самостоятельность и физическую безопасность. Ежегодно в отделения неотложной помощи США обращаются более 100 000 человек с травмами, связанными с креслами-колясками, часто после спотыканий и падений. Поэтому нужны более умные, безопасные и адаптивные устройства.

Проект RAMMP, поддержанный ARPA-H, пытается устранить ограничения нынешних роботизированных платформ для мобильности. Для этого команда объединяет современную робототехнику, новые операционные системы и технологию цифровых двойников — виртуальную среду, где системы можно безопасно и масштабируемо тестировать и разрабатывать. В проект также вошли открытые модели компьютерного зрения Meta, в том числе DINO и Segment Anything Model (SAM).

DINO и SAM уже применялись в проектах от медицинской визуализации до охраны дикой природы. DINO — трансформер компьютерного зрения с самоконтролируемым обучением. Он учится извлекать визуальные представления из неразмеченных данных, поэтому подходит для сред, где мало размеченных наборов данных. SAM предназначена для сегментации любых объектов: модель может находить и обводить предметы на изображении или видео по краткому запросу. Благодаря точности и универсальности SAM используют там, где нужно точно распознавать объекты.

DINOv3 и SAM на периферийных устройствах

Для людей, которые используют вспомогательные устройства, важна скорость реакции. В повседневной среде ребёнок может внезапно выбежать на тротуар, перед креслом окажется бордюр, а на полу — связка ключей. Обработка изображений с камер и данных датчиков непосредственно на устройстве, то есть периферийные вычисления, позволяет роботизированным платформам быстрее реагировать. Такие системы должны стабильно работать в самых разных условиях, где живут пользователи.

Запуск мощных моделей вроде DINOv3 и SAM на компактном оборудовании с батарейным питанием создаёт инженерные сложности. При разработке приходится учитывать время работы аккумулятора, отвод тепла, нестабильное сетевое соединение, а также жёсткие ограничения по размеру и весу.

Но технические ограничения теряют смысл, если с помощью новой роботизированной системы пользователь не может выполнять обычные повседневные действия. Новые методы позволяют взаимодействовать с роботом естественнее — использовать окружающую обстановку как контекст и обходиться без сложных интерфейсов. Пользователь может сочетать естественный язык с данными изображения, чтобы спрашивать о предметах вокруг себя и робота или отдавать более прямые команды. Это снижает когнитивную нагрузку и количество переключений контекста: например, чтобы попросить робота поднять чашку со стола.

Команда RAMMP уже встраивает такую функцию в первый прототип. Инструменты на основе DINO позволяют обращаться к изображениям с камер робота и находить кнопки автоматических дверей, чашки, бордюры и поверхность земли для навигации. Теперь, когда функция готова к испытаниям в реальных условиях, инженеры сосредоточились на голосовом и сенсорном вводе: пользователь сможет выбирать конкретные объекты вокруг себя и взаимодействовать с ними. Помимо точности и согласованности результатов во времени, команде нужно обеспечить стабильную и предсказуемую работу при разных запросах и способах ввода.

DINOv3 выступает компактным и экономичным «зрительным мозгом» устройства — универсальной основой, поверх которой можно размещать небольшие модули для конкретных задач, например обнаружения объектов или отслеживания движения. Это позволяет повторно использовать визуальные данные и экономить заряд.

Инженеры применяют обе модели при разработке роботизированных систем и оптимизируют их для периферийных устройств: уменьшают объём памяти, при необходимости используют пониженную точность и выбирают форматы, рассчитанные на реальные условия эксплуатации. Благодаря этому системы могут работать надёжно и в реальном времени. При практичном разрешении изображений и эффективной пакетной обработке DINOv3 и SAM сохраняют скорость и стабильность даже на компактном оборудовании с батарейным питанием — в роботизированных платформах мобильности и манипуляторах. Иногда ради скорости и устойчивости приходится немного жертвовать точностью границ или детализацией признаков. Такой баланс между точностью и практичностью лежит в основе проекта.

По словам начальника штаба проекта RAMMP Сивашанкара Сивакантана, для вспомогательной робототехники результат определяется не одной точностью на бенчмарке, а тем, может ли система надёжно работать в непредсказуемой повседневной среде. Запуск DINOv3 и SAM непосредственно на устройстве даёт восприятие в реальном времени, которому пользователь может доверять, без зависимости от соединения и снижения уровня безопасности.

Система восприятия RAMMP построена на лёгкой модели обнаружения RF-DETR, дообученной с использованием эмбеддингов DINOv2. Обучающие данные автоматически размечаются с помощью SAM. Благодаря этому команда быстро создаёт качественную разметку для разных углов обзора, высоты камеры, фона и условий освещения, с которыми вспомогательные устройства сталкиваются в реальном мире. Дополнительные преобразования данных и стратегии с несколькими видами помогают сохранять согласованность результатов при разных ракурсах. В итоге система должна обеспечивать более адаптивную и безопасную мобильность.

Объединение возможностей SAM по разметке данных и визуальных представлений DINOv2 в дообученной модели RF-DETR позволяет RAMMP получать данные об окружении на 360 градусов в реальном времени и адаптивно обнаруживать объекты.

Партнёры проекта

HERL и ATDev работают в консорциуме RAMMP как ключевые партнёры, отвечая за разные направления. HERL руководит инициативой и привносит экспертизу в биомедицинской инженерии и исследованиях с участием пользователей, формируя представление о будущих системах вспомогательной мобильности. ATDev отвечает за инженерную часть и превращает результаты исследований HERL в устройства, работающие в реальных условиях.

Помимо внедрения ИИ, HERL привлекает к проектированию пользователей кресел-колясок, врачей и общественные организации. Такой подход с участием пользователей помогает ориентироваться на реальные потребности, а не на предположения. В национальный консорциум RAMMP также входят Kinova Robotics, LUCI Mobility, ATDev и учёные из Carnegie Mellon, Cornell, Northeastern и Purdue.

Руководитель программы ARPA-H Мансур Хан сообщил, что проект должен помочь американцам с ограниченной мобильностью жить более самостоятельно, работать и проводить свободное время, используя современную робототехнику. По его словам, модели зрения Meta позволяют платформе «видеть»: понимать сцену, перемещаться в окружающей среде и выбирать нужные предметы. Это снижает когнитивную нагрузку на пользователя и повышает его самостоятельность.

RAMMP также должен стимулировать появление новых рабочих мест и производственных возможностей в Питтсбурге и по всей Пенсильвании, поддерживая разработку мобильных решений и их производство внутри страны. В проекте технологическое развитие связано с экономическими и социальными задачами.

Директор ARPA-H Алисия Джексон считает, что людям с ограниченной мобильностью нужны технологии, которые подстраиваются под их реальные условия, а не требуют от них приспосабливаться к устройству. По её словам, сотрудничество с Meta и использование передовых моделей ИИ в робототехнике для людей с инвалидностью позволит ускорить создание таких систем.

В дальнейшем команда RAMMP продолжит внедрять модели восприятия следующего поколения, включая SAM 3.1 и DINOv3, чтобы улучшить понимание окружающей среды и взаимодействие с ней в реальном времени. Отдельное внимание уделят согласованности во времени, устойчивости в разных реальных условиях и более тесной связи восприятия с системами принятия решений и управления. В перспективе RAMMP хочет создать вспомогательные системы, которые будут не только точно распознавать окружение, но и со временем подстраиваться под индивидуальные потребности, поведение и контекст каждого пользователя.