Бывшие учёные Meta хотят внедрить визуальный ИИ в производство

Бывшие учёные Meta создают ИИ для роботов на производстве

Компания Perceptron, основанная двумя бывшими исследователями Meta, выпустила модель Isaac 0.5 для промышленных роботов. Она помогает машинам воспринимать обстановку, рассуждать и действовать на складах и производственных площадках: читать маркировку, анализировать расположение объектов, выбирать нужные коробки и планировать порядок действий. Модель обучали на миллионе часов обычного видео, видео от первого лица и записях повторяющихся человеческих движений. Isaac 0.5 распространяется как открытая модель: её параметры и материалы обучения может изучить любой желающий.

ИИ выходит в физический мир

ИИ уже меняет цифровые продукты и сервисы, однако компании всё чаще переносят его возможности в физическую среду. Один из таких проектов — Perceptron, созданный двумя бывшими учёными Meta.

Компания появилась в ноябре 2024 года и разрабатывает передовые визуальные модели, которые должны помочь машинам лучше взаимодействовать с окружающим миром.

На этой неделе Perceptron представила Isaac 0.5. По замыслу создателей, модель наделяет машины способностью «воспринимать, рассуждать и действовать» в промышленных условиях. Программа помогает роботам с компьютерным зрением перемещаться по сложным пространствам — например, по складам и цехам. Кроме того, компании могут извлекать из записанных роботами видео полезную визуальную информацию.

Isaac 0.5 выпускается как открытая модель: её параметры и материалы обучения доступны для проверки.

Компания основали Armen Aghajanyan и Akshat Shrivastava. До этого они работали в подразделении Meta Fundamental ИИ Research (FAIR), которое занимается исследованиями ИИ. Своё программное обеспечение основатели считают основой для будущего промышленного развёртывания автоматизированных систем.

По мнению компании, современный физический ИИ заставляет выбирать между двумя вариантами: универсальными базовыми моделями, которым для каждого экземпляра требуется несколько выделенных облачных GPU, и узкими моделями, способными либо воспринимать обстановку, либо управлять действиями, но не делать и то и другое одновременно.

Aghajanyan и Shrivastava утверждают, что Isaac 0.5 отличается от существующих решений универсальностью. Модель не рассчитана на одну конкретную повторяющуюся операцию и должна подстраиваться под среду или ситуацию, в которой работает робот.

Как робот сортирует коробки

В интервью Shrivastava предложил представить простую физическую задачу — сортировку посылок. Роботу для этого нужно выполнить целую последовательность операций.

Сначала машина должна прочитать этикетку на коробке, затем проанализировать пространство и понять, где находятся объекты, после чего выбрать коробку для захвата. Если требуется разобрать несколько коробок, роботу также нужно определить, какие из них брать и в каком порядке.

Программное обеспечение Perceptron должно помогать машине проходить через все эти этапы. Отдельные решения для большинства подобных операций уже существуют, однако гибких программ, способных объединять их и адаптироваться к ситуации, пока немного.

Миллион часов видео

Модели вроде Isaac 0.5 получают практические навыки, изучая огромные объёмы видеоданных. Perceptron сообщает, что обучила новую модель на миллионе часов обычного видео. Эти материалы должны были научить алгоритм распознавать разные места, визуальные объекты и сценарии.

Компания также активно использовала видео от первого лица. Обычно такие записи делают на GoPro или носимую камеру, установленную на человеке, который выполняет физическую задачу. Ещё один источник — видео UMI: записи повторяющихся человеческих действий, которые применяют для обучения ИИ-систем движениям.

Perceptron не раскрывает, откуда именно получила обучающие материалы. При этом Shrivastava рассказал, что компания самостоятельно создала наборы данных петабайтного масштаба. Они включают разные типы информации: изображения, текст, видео и траектории роботов.

Где применят Isaac 0.5

Программное обеспечение, способное помогать роботам работать на складах, можно использовать в самых разных областях. Perceptron готова продавать систему различным поставщикам, чтобы её слой визуального интеллекта встраивался в продукты и процессы разных отраслей.

Компания называет среди потенциальных направлений производство, логистику и складские операции, безопасность, транспорт и мобильность, а также средства массовой информации и развлечения.

По словам Aghajanyan, похожих решений сейчас фактически нет.

В 2024 году Perceptron уже привлекла $16 млн от Bessemer Venture Partners, The Explorer Fund и SmartGateVC, согласно данным Pitchbook. TechCrunch сообщает, что компания сейчас закрывает дополнительный инвестиционный раунд.

Более ранняя версия новости содержала ошибочные сведения о последних привлечённых инвестициях.