Nvidia отвечает на угрозу вышедших из-под контроля агентов открытой системой защиты ИИ

За последние месяцы лаборатории, разрабатывающие передовые модели, сообщили о нескольких случаях, когда ИИ-агенты проникали в системы других компаний или проверяли официальные сайты правительств США и Австралии. Nvidia уже участвует в продвижении открытых средств безопасности в отрасли. Теперь компания открывает новую платформу программной безопасности и делает песочницу для ИИ-агентов доступнее.

OpenShell, одна из недавно запущенных Nvidia песочниц безопасности для ИИ-агентов, теперь доступна всем пользователям. Её впервые представили в марте на ежегодной конференции Nvidia GTC. Фреймворк изолирует агентов во время выполнения задач и ограничивает их активность на уровне ядра операционной системы. Ядро — базовая программа, которая координирует работу аппаратных и программных компонентов и имеет доступ почти ко всем частям компьютера.

В материалах о запуске Nvidia перечисляет партнёрства в области безопасности ИИ с десятками технологических компаний:

Nvidia сообщает, что SpaceXAI использует Open Agent Safety Platform для агентов Cursor и моделей Grok. По словам компании, Anthropic и Nvidia «встраивают безопасность в Claude Managed Agents». Salesforce, Scale AI и SAP подтвердили, что в той или иной степени интегрируют OpenShell. При этом неясно, внедрили ли платформу все партнёры из списка Nvidia или компания говорит о сотрудничестве в более широком смысле.

Из списка Nvidia полностью выпала OpenAI. Обе компании подтвердили, что OpenAI участвует в работе над OpenShell, однако напрямую не объяснили, почему лаборатория не попала в анонс.

Инженеры по безопасности и специалисты по безопасности ИИ обсуждали необходимость изолировать и отслеживать ИИ-агентов задолго до недавних сообщений об их атаках. В мартовском анонсе OpenShell Nvidia говорила, что фреймворк добавит «средства контроля конфиденциальности и безопасности, чтобы сделать саморазвивающихся автономных ИИ-агентов, или „кло«, более надёжными, масштабируемыми и доступными». Это произошло за несколько месяцев до того, как OpenAI сообщила, что её агенты взломали Hugging Face — компанию, занимающуюся открытым ИИ. Ранее в этом месяце Nvidia согласилась купить Hugging Face за 12,9 миллиарда долларов.

Компания также разработала новую программную платформу Sentry — изолированную область безопасности для чипов, предназначенную для непрерывного мониторинга ИИ-агентов, работающих длительное время. Хотя Sentry — программный инструмент, его предполагается использовать на BlueField, линейке программируемых блоков обработки данных (DPU) от Nvidia. Sentry должна дополнять ограничения OpenShell и служить независимым механизмом, который сможет «изолировать агентов, пытающихся выйти за установленные границы».

По словам Джастина Бойтано, вице-президента Nvidia и генерального менеджера подразделения корпоративных вычислений, Sentry позволит клиентам компании и пользователям открытого ПО применять политики безопасности через OpenShell. Традиционные песочницы изолируют отдельные приложения, а компании теперь хотят запускать целые группы агентов. Для этого, как объясняет Бойтано, нужна единая политика, действующая для всех агентов.

Бойтано отмечает, что агенты находят творческие способы добиться поставленных целей. С помощью Sentry, по его словам, они смогут обращаться только к тем ресурсам, которые команда безопасности разрешила им использовать.

Nvidia работает с Arm и Intel над версией Sentry для архитектуры чипов x86. Бойтано говорит, что после запуска на этих архитектурах платформа сможет работать на любой архитектуре команд.

Nvidia представляет все эти инструменты как части нового фреймворка с открытым кодом Open Agent Safety Platform, в который теперь входят OpenShell и Sentry.

В июле Nvidia запустила отраслевую коалицию по безопасности ИИ; сейчас в неё входят более 120 компаний. Заявленная цель коалиции — снизить риски ИИ, в частности с помощью программы Shared AI Findings Exchange (SAFE). В прошлом месяце Бойтано говорил, что SAFE должна управляться независимо: ни одна компания или часть отрасли не должна контролировать её выводы.

При этом в центре отраслевых инициатив по безопасности ИИ с открытым кодом постоянно оказывается Nvidia. Самая дорогая компания мира поставляет наиболее производительные чипы, от которых зависит значительная часть технологической отрасли, и, по всей видимости, стремится расширять своё влияние и задавать стандарты на разных уровнях ИИ-технологий — от кремниевых чипов до программного обеспечения для безопасности.

Компании уже работают над тем, чтобы ограничивать действия агентов и контролировать их. Однако недавние случаи их нежелательного поведения показывают, что отрасли стоит напомнить о базовых правилах безопасности, которые известны давно, но, судя по всему, не всегда соблюдаются даже лабораториями передовых моделей с триллионной оценкой. Некоторые эксперты считают, что эти случаи также возвращают к вопросу о том, что значит, когда автономная программа «выходит из-под контроля».

Инженер и исследователь безопасности с большим опытом Нильс Провос считает, что полезны любые инструменты, которые помогают компаниям запускать агентов с дополнительными ограничениями и средствами защиты. В феврале он сам представил фреймворк с открытым кодом для решения этих задач. По словам Провоса, такие инструменты как минимум помогают развеять миф о том, что агентов невозможно контролировать.