Удастся ли Safeworld убедить людей, что роботы с генеративным ИИ им не навредят?

Проверка роботов в симуляциях

Роботов всё чаще управляют с помощью генеративных моделей, но их поведение сложнее предсказать, чем работу традиционных алгоритмов. Как убедиться, что новый гуманоид не причинит вреда?

Дин Чжао, руководитель лаборатории Safe AI в Carnegie Mellon University, почти всю карьеру занимается этой проблемой. Теперь он основал Safeworld вместе с Кайлом Вонгом и инженером по машинному обучению Симо Рачиди.

По словам Чжао, для безопасного внедрения роботов нужно решать две задачи: оценивать риски вероятностных систем на основе генеративного ИИ и обеспечивать доверие к ним.

Safeworld вышла из скрытого режима и объявила о посевном раунде более чем на $12 млн. Его возглавили Shine Capital и a16z Speedrun. В раунде также участвовали Box Group, Carnegie Mellon University Endowment, Innovation Endeavors и SV Angel.

Партнёр a16z Speedrun Джонатан Лай считает, что отраслевой стандарт безопасности нужно создавать, пока роботов проектируют и внедряют. Если ждать, пока роботы окажутся в домах, начнут сталкиваться с детьми и вызывать происшествия, будет уже слишком поздно.

Safeworld проверяет системы управления роботами в симуляциях с реалистичными моделями людей. Похожую задачу решают Tesla и Wayve: их автомобилям нужно правильно реагировать на неожиданные события на дороге. Для роботов проверка сложнее, объясняет Чжао: они работают в неструктурированной среде, а требования безопасности отличаются от объекта к объекту.

Один из типичных сценариев — слепой угол на заводе. Кайл Вонг предлагает проверять, с какой скоростью должен двигаться робот и какое расстояние ему нужно для остановки, чтобы не столкнуться с человеком. Важно также выяснить, заметит ли робот человека, который несёт коробки.

Для этого Safeworld создаёт цифровую копию такого участка в симуляторе вроде Genesis или MuJoCo, добавляет модель робота, работающего на настоящем программном обеспечении, а затем запускает тысячи сценариев взаимодействия с моделями людей. Как отмечает Чжао, это непросто: поведение людей трудно предсказать.

Вонг приводит пример падений: их проверяют в симуляции, потому что постоянно падать перед роботом в реальности было бы сложно.

У платформы Safeworld есть сходство с инструментами, которые компании-разработчики роботов используют внутри. Но основатели считают, что производителям понадобится и независимая проверка. Она поможет подтвердить результаты и обмениваться сведениями о проверках безопасности даже между конкурентами.

Чжао предупреждает, что разработчики недооценивают сложность редких кейсов. Риск представляет не робот в изолированной среде на демке, а система, развёрнутая в большом масштабе рядом с людьми, которые, возможно, никогда раньше не управляли роботом.

Роботы на солнечных электростанциях

Вишал Дугар, технический директор Gritt Robotics, разрабатывает управляющую систему для роботов, которые помогают рабочим устанавливать фотоэлектрические панели на крупных солнечных электростанциях. В будущем компания рассчитывает поручать им более сложные строительные задачи. Gritt Robotics сотрудничает с Safeworld, пока та разрабатывает симуляции безопасности.

По словам Дугара, формально доказать безопасность большинства таких систем с помощью математики и уравнений очень сложно. Поэтому её приходится проверять экспериментально.

Роботы Gritt Robotics работают рядом с людьми, и компании нужно убедиться, что их роботизированная рука никого не заденет. Для этого необходимо учесть множество возможных ситуаций.

Люди могут выглядеть по-разному и принимать разные позы: стоять на коленях, стоять, падать, приседать или бежать. Роботам нужно учитывать все эти движения, а также различия в одежде, размерах тела, телосложении, росте и цвете кожи.

Safeworld и генеративный ИИ в робототехнике пока находятся на раннем этапе развития. Компания ещё выбирает модель работы: создать платформу для внешних пользователей или предлагать услуги. При этом команда уверена, что решает нужную задачу.

Чжао рассчитывает, что Safeworld может стать первой прибыльной компанией в этой области: по его словам, тем, кто захочет внедрять роботов, придётся платить за проверку того, как системы справятся с опасными ситуациями.