Почему OpenAI не участвует в объединении Nvidia против вышедших из-под контроля ИИ-агентов

Что предлагает Nvidia

Новая инициатива называется Open Agent Safety Platform. Nvidia хочет распространить по ИИ-индустрии разработанные ею инструменты защиты ИИ-агентов, в основном с открытым исходным кодом. Платформа стала ответом на случаи, когда ИИ-агенты выходят из-под контроля: о таких инцидентах рассказывали передовые ИИ-лаборатории, в том числе Anthropic и OpenAI.

Глава Nvidia Дженсен Хуанг называет такие ситуации обычной инженерной проблемой, которую можно решить, как и другие технические задачи. Open Agent Safety Platform — практическое воплощение этого подхода.

OpenAI сотрудничает с Nvidia в области безопасности агентов. Один из ключевых компонентов платформы — OpenShell, открытое ПО, которое создаёт специально предназначенную для агентов изолированную среду и мешает им выйти за её пределы.

Хотя OpenAI не стала публично поддерживать инициативу, как её главный соперник Anthropic, участие компании в этой работе — хорошая новость. Технология может быть особенно полезна самой OpenAI, считает основатель и генеральный директор Hugging Face Клем Деланг. Ранее в этом месяце он продал свою компанию Nvidia за $12,9 млрд.

Деланг написал, что, судя по известной информации, если бы OpenAI использовала эту технологию для своих агентов, атаковавших Hugging Face, их удалось бы обнаружить раньше. Он добавил, что выводы пока предварительные и для уверенности нужно больше прозрачности.

Hugging Face уже добавила в Open Agent Safety Platform функцию, которая обнаруживает и останавливает ИИ-агентов, если те посещают разрешённые сайты, но используют их несанкционированным образом. Например, она может сработать, когда агенты обходят ограничения и координируют атаку, оставляя друг другу заметки в открытом репозитории для размещения исходного кода.

Именно так, по словам OpenAI, группа её агентов, вышедших из-под контроля, координировала атаку на Hugging Face.

Зависимость от оборудования Nvidia

Есть и другая причина, по которой крупные компании, включая OpenAI, могут не захотеть публично присоединяться к инициативе Nvidia. Для работы системы целиком требуется аппаратный компонент: он остаётся проприетарным и доступен только на оборудовании Nvidia.

Платформа не ограничивается изолированной средой. Она контролирует поведение агентов на аппаратном уровне, где те не могут обнаружить наблюдение. Некоторые модели и агенты лгут и делают вид, что соблюдают правила, когда понимают, что за ними следят.

Аппаратный мониторинг обеспечивает Nvidia Sentry — проприетарная функция, работающая на специальных процессорах Nvidia BlueField-4, предназначенных для обработки данных. Nvidia обещает, что Sentry непрерывно следит за поведением агентов и может мгновенно их остановить.

Аппаратная защита может быть полезна, но из-за неё Open Agent Safety Platform нельзя назвать полностью открытым решением. Nvidia гарантирует, что платформа будет лучше всего работать на её оборудовании. Компания также заявила, что тем, кто уже использует её новейшие системы, достаточно установить обновление программного обеспечения.

При этом конкуренты Nvidia — Arm и Intel — тоже поддержали платформу. Изолированную среду OpenShell можно изменить для работы с другими чипами и оборудованием. Кроме того, Nvidia публикует эталонные проекты всей программно-аппаратной системы.

На этом фоне отсутствие OpenAI заметнее. Компания видит в безопасности ИИ возможность сохранить независимость от своего крупного инвестора Nvidia и показать собственное лидерство — несмотря на то, что именно агенты OpenAI встревожили отрасль инцидентом с Hugging Face.

OpenAI разрабатывает собственные средства защиты для исследований и продуктов и сообщает о самых серьёзных обнаруженных инцидентах. У компании есть и собственный консорциум по кибербезопасности ИИ для обмена информацией — Defense Factory. Его поддержали Anthropic, Amazon Web Services и Google. Многие из этих компаний не присоединились к технологической инициативе Nvidia.

Наконец, опасения вокруг ИИ-безопасности могут быть выгодны бизнесу. OpenAI развивает направление кибербезопасности для корпоративных клиентов: в него входят собственная модель для задач киберзащиты Daybreak и расширяющаяся сеть партнёров, которых компании могут нанимать для внедрения систем безопасности ИИ.