Бывшие исследователи Meta хотят внедрить визуальный ИИ на производстве

Бывшие учёные Meta выпускают ИИ для роботов на заводах

Стартап Perceptron, основанный двумя бывшими исследователями Meta, представил модель компьютерного зрения Isaac 0.5 для промышленных роботов. Она помогает машинам воспринимать обстановку, рассуждать и действовать на складах и заводах: ориентироваться в сложных пространствах, сортировать коробки и извлекать данные из видео с роботов. Модель выпустили в открытом виде — её параметры и материалы обучения может изучить любой желающий. Perceptron основали в ноябре 2024 года Армен Агаджанян и Акшат Шривастава, ранее работавшие в исследовательском подразделении Meta FAIR.

Что умеет Isaac 0.5

Isaac 0.5 рассчитана на роботов, которые работают в помещениях с меняющейся обстановкой. Модель помогает роботам, оснащённым системами зрения, ориентироваться на складах и производственных площадках, а компаниям — получать визуальные данные из записей, сделанных этими машинами.

Perceptron выпустила Isaac 0.5 как открытую модель: её параметры и материалы обучения доступны для проверки.

Основатели компании считают, что их разработка может стать основой для автоматизации промышленных процессов. По их словам, сейчас физический ИИ ставит разработчиков перед выбором: использовать универсальные базовые модели, которым для каждого экземпляра требуется несколько отдельных облачных GPU, или узкие модели, умеющие либо воспринимать обстановку, либо управлять действиями, но не делать и то и другое одновременно.

Агаджанян и Шривастава называют Isaac 0.5 универсальной моделью. Она не рассчитана на одну повторяющуюся операцию и должна адаптироваться к конкретной среде и ситуации.

Как робот сортирует коробки

На интервью Шривастава предложил рассмотреть простую задачу — сортировку посылок. Даже она состоит из нескольких последовательных действий.

Сначала робот должен прочитать этикетку на коробке, затем понять, где находятся остальные коробки, оценить пространство и выбрать, какую посылку взять. Если нужно обработать несколько коробок, машине также придётся спланировать их порядок.

ПО Perceptron помогает роботу пройти через все эти этапы. Отдельные инструменты для большинства таких операций уже существуют, но программ, способных выполнять их гибко и в разных условиях, пока немного.

На каких данных обучали модель

Isaac 0.5 получает практические навыки из больших объёмов видео. Perceptron сообщает, что для обучения модель использовала 1 млн часов обычного видео. Эти материалы помогли алгоритму распознавать разные места, изображения и ситуации.

Компания также активно применяла видео от первого лица — записи, сделанные человеком с помощью GoPro или носимой камеры во время выполнения физической задачи. Ещё один источник — видео UMI: записи повторяющихся действий человека, которые используют для обучения ИИ-алгоритмов движениям.

Источники данных Perceptron не раскрывает. Шривастава сообщил, что внутри компании созданы наборы данных петабайтного масштаба. Они включают изображения, текст, видео и траектории движения роботов.

Где применят технологию

ПО для роботов, способных самостоятельно работать на складах, может использоваться в разных отраслях. Perceptron готова предлагать свою разработку поставщикам, чтобы встроить слой визуального интеллекта в широкий набор промышленных систем.

Речь идёт о производстве, логистике и складском хозяйстве, безопасности, мобильности, а также средствах массовой информации и развлечениях.

По словам Агаджаняна, подобных решений сейчас практически нет, и компания рассчитывает на интерес к своей разработке.

Perceptron привлекла $16 млн от Bessemer Venture Partners, The Explorer Fund и SmartGateVC в 2024 году, согласно данным Pitchbook. TechCrunch сообщает, что стартап сейчас завершает привлечение дополнительного раунда. В более ранней версии публикации были неверно указаны детали последнего финансирования.