Бывшие учёные Meta хотят внедрить визуальный ИИ на производстве

Бывшие учёные Meta создают ИИ для роботов на производстве

Компания Perceptron, основанная двумя бывшими исследователями Meta, выпустила модель компьютерного зрения Isaac 0.5 для промышленных роботов. Она помогает машинам воспринимать обстановку, рассуждать и действовать в складских и производственных помещениях, а компаниям — извлекать данные из видео, снятых роботами. Модель доступна в открытом виде: её параметры и материалы обучения может изучить любой желающий. Perceptron основали в ноябре 2024 года, а в том же году компания привлекла $16 млн от Bessemer Venture Partners, The Explorer Fund и SmartGateVC.

ИИ для физической среды

ИИ пока в основном применяется в цифровом мире, но компании всё чаще переносят его в физическую среду. Perceptron — один из таких проектов. Компания разрабатывает передовые модели компьютерного зрения, которые должны помочь машинам лучше взаимодействовать с окружающей обстановкой.

На этой неделе Perceptron представила Isaac 0.5. По замыслу создателей, модель даёт машинам способность воспринимать происходящее, рассуждать и действовать в промышленных условиях. Программа помогает роботам, управляемым с помощью зрения, ориентироваться в сложных местах — например, на складах и заводских площадках. Кроме того, она позволяет компаниям извлекать визуальную информацию из видео, записанных этими роботами.

Isaac 0.5 выпускается как открытая модель: её параметры и материалы обучения доступны для проверки.

Компанию основали Armen Aghajanyan и Akshat Shrivastava. Ранее они работали в Fundamental ИИ Research (FAIR) — исследовательском подразделении Meta. Своё программное обеспечение предприниматели считают основой будущего автоматизированного внедрения технологий в промышленности.

Perceptron отмечает, что современные системы для физических задач заставляют выбирать между универсальными базовыми моделями, которым для каждого запуска нужны несколько выделенных облачных GPU, и узкими моделями, способными либо воспринимать обстановку, либо управлять действиями, но не совмещать оба навыка.

Aghajanyan и Shrivastava считают Isaac 0.5 отличающейся от существующих решений благодаря универсальности. Модель не рассчитана на одну конкретную повторяющуюся задачу и должна подстраиваться под среду и ситуацию, в которой работает.

Как робот сортирует коробки

В интервью Shrivastava предложил рассмотреть простую физическую операцию — сортировку коробок. Роботу нужно прочитать этикетку на каждой посылке, проанализировать расположение коробок, выбрать нужную и решить, в каком порядке забирать несколько коробок.

Программное обеспечение Perceptron должно помогать роботу проходить через все эти этапы. Для большинства отдельных действий в отрасли уже существуют готовые программы, но решений, которые выполняли бы их гибко в разных условиях, пока немного.

Данные для обучения

Isaac 0.5 осваивает операционные навыки на огромных объёмах видеоданных. По словам Perceptron, модель обучали на миллионе часов так называемого общего видео — материалов, которые помогают алгоритму распознавать разные места, визуальные объекты и сценарии.

Компания также активно использовала видео от первого лица. Обычно такие записи делают с помощью GoPro или носимой камеры, установленной на человеке, который выполняет физическую задачу. Ещё один источник — UMI-видео: записи повторяющихся действий человека, которые используют для обучения ИИ движениям.

Источники обучающих данных Perceptron не раскрывает. При этом Shrivastava сообщил, что внутри компании собраны наборы данных петабайтного масштаба, включающие изображения, текст, видео и траектории движений роботов.

Где применят Isaac 0.5

Программа, способная помогать роботам работать на складах, может использоваться в разных отраслях. Perceptron уже готова предлагать её различным поставщикам, чтобы встроить свой программный слой в широкий спектр промышленных решений.

Aghajanyan утверждает, что аналогичных решений на рынке практически нет.

В 2024 году Perceptron привлекла $16 млн от Bessemer Venture Partners, The Explorer Fund и SmartGateVC. По данным PitchBook, сейчас компания завершает дополнительный этап привлечения инвестиций. Источник также уточнил, что в более ранней версии материала сведения о недавнем финансировании были указаны неверно.