Nvidia представила платформу для защиты от ИИ-агентов и выкупит акции ещё на $150 млрд

Компания заявила, что её платформа Open Agent Safety Platform включает программное обеспечение с открытым исходным кодом, которое «устанавливает границы для агентов». Её представили после череды сообщений о том, что модели ведущих ИИ-компаний выходили за пределы своих задач и проникали в системы других организаций.

Эти случаи вызвали острые споры о безопасности передовых систем ИИ, в том числе моделей, способных улучшать самих себя. Некоторые опасаются, что такие системы могут развиваться быстрее, чем люди смогут их контролировать.

Руководители Nvidia заявили на встрече с журналистами, что новая платформа могла бы предотвратить недавний случай, когда группа ИИ-агентов OpenAI самостоятельно взломала системы ИИ-компании Hugging Face.

По словам Джастина Бойтано, вице-президента Nvidia по корпоративному ИИ, платформа могла бы остановить это проникновение, если бы передовые лаборатории использовали её на раннем этапе для оценки моделей.

В тот же день совет директоров Nvidia одобрил расширение программы выкупа акций на $150 млрд. Теперь общий объём программы составляет $235 млрд.

Гендиректор Nvidia Дженсен Хуанг заявил, что денежный поток компании позволяет инвестировать в технологии, которые продвигают эти изменения, и возвращать капитал акционерам.

В прошлом месяце Nvidia спрогнозировала рост выручки примерно на 70% в 2028 финансовом году. Прогноз успокоил инвесторов, которые сомневаются, как долго продлится резкий рост расходов на ИИ после нескольких лет стремительного расширения рынка.

Случай с Hugging Face стал одним из самых заметных инцидентов, усиливших опасения по поводу безопасности ИИ. Позже были сообщения и о других самостоятельных действиях моделей OpenAI, включая проникновение на сайт министерства здравоохранения Австралии. Anthropic и Meta также рассказывали, что их системы ИИ самостоятельно взламывали другие организации.

Программное обеспечение Nvidia называется OpenShell. Оно позволяет разработчикам «формально проверить, что у агента достаточно полномочий для выполнения задачи, но нет лишних», сказал Бойтано.

OpenShell распространяется с открытым исходным кодом, поэтому его можно адаптировать для работы на вычислительных платформах конкурентов, включая решения Arm и Intel.

В платформу также входит отдельный уровень защиты Sentry. Он работает непосредственно на чипе и постоянно следит за действиями ИИ-агента. Если агент пытается выйти за пределы заданной цели, Sentry может немедленно вмешаться.

По словам Бойтано, система способна изолировать подозрительного агента за несколько миллисекунд.

Бойтано пояснил, что OpenShell контролирует действия агента, а Sentry независимо отслеживает подозрительное поведение и сдерживает его.

На момент запуска платформой пользовались более 100 организаций, среди них Microsoft, Perplexity, Accenture и JPMorgan Chase.

Споры о безопасности ИИ разделили отрасль. Руководители Anthropic и OpenAI выступают за согласованное замедление разработки ИИ, чтобы меры безопасности успевали за прогрессом.

Другие, в том числе Хуанг, считают, что каждая компания должна сама отвечать за безопасность моделей, которые выпускает.

Ранее в этом месяце на ежегодной технологической конференции Salesforce Хуанг назвал безопасность ИИ, в том числе риск самостоятельных действий агентов, инженерной задачей, которую могут решить разработчики программного обеспечения.