Microsoft: ИИ-агенты похожи на инсайдерские угрозы, а передовым моделям нельзя доверять

От внешней атаки — к угрозе изнутри

Главное нововведение — Guardian Agents, функция наблюдения за ИИ-агентами компании. Она входит в Project Perception, представленный Microsoft в июне.

Project Perception создавали как ответ на мощные модели для взлома, такие как Mythos и Fable от Anthropic, а также на систему OpenAI Daybreak для поиска уязвимостей. Изначально в продукт входили агенты трёх типов:

Проект исходил из того, что ИИ-хакеры будут атаковать компании извне. Но в последнее время генеральный директор Microsoft Сатья Наделла предупреждает о другом сценарии: угрозой могут стать сами агенты, которых компании внедрили и за использование которых платят. В этом случае агент похож на недобросовестного сотрудника — так возникает «внутренняя угроза».

Ранее в этом месяце Наделла написал в личном блоге, что компаниям пора перестать доверять поставщикам моделей, даже если те обещают безопасность своих продуктов с агентами. Он призвал организации использовать отдельные системы для наблюдения за агентами и управления ими — системы, которые не контролируют лаборатории, создавшие этих агентов.

Наделла подчеркнул, что компании внедряют сложные агентные системы и модели, дают им доступ к самым чувствительным данным и поручают критически важные задачи. По его словам, нельзя передать поставщику моделей ответственность за то, что ИИ делает от имени организации: его заверения в безопасности этого не меняют. Поэтому нужно отделить поставку ИИ от полномочий управлять его действиями.

Почему Microsoft не доверяет передовым моделям

Глава подразделения Microsoft по безопасности Хаете Галло выразилась ещё прямее: передовым моделям нельзя доверять независимо от того, кто их создал. Причина, пояснила она, не в том, что модели злонамеренны или их легко взломать. Они непредсказуемы: их обучали выполнять задачи, а не соблюдать нормы организации и принимать решения с учётом её правил.

Кроме того, агентам нередко дают широкие полномочия — доступ к данным и инструментам, с помощью которых можно нанести серьёзный ущерб.

Microsoft продаёт инструменты контроля

Решение Microsoft одновременно неожиданное и выгодное для самой компании. Microsoft тесно сотрудничает с OpenAI и Anthropic и вложила деньги в обе компании. OpenAI — один из крупнейших клиентов Microsoft в облачном бизнесе, а сама Microsoft развивает собственную лабораторию ИИ и создаёт модели. Поэтому, призывая не доверять поставщикам ИИ, компания ставит под сомнение и часть собственных деловых интересов.

При этом Microsoft хочет, чтобы компании покупали средства защиты агентов у неё как у облачного провайдера, а не у Anthropic и OpenAI. Но независимо от конфликта интересов, аргумент компании состоит в том, что программное обеспечение для наблюдения за поведением агентов должно быть отделено от поставщиков самих агентов — как аудиторы должны быть независимы от организаций, которые они проверяют.

Наделла формулирует эту мысль так: поставку ИИ нужно отделить от полномочий управлять им.

Microsoft уже развивает это направление несколькими способами. Помимо Guardian Agents, компания добавила в Microsoft Defender функцию обнаружения агентов: она распознаёт до 60 типов программ, которые сотрудники приносят на работу. Среди них — Claude Code, Codex и OpenClaw.

Также Microsoft добавила средства, которые ограничивают доступ агентов к данным и системам и меняют их разрешения в зависимости от задачи. Если агент, например, собирается принять рискованное решение, система может потребовать одобрения человека.

Такой подход распространяется по отрасли

Представление об агентах как о ненадёжных внутренних пользователях набирает популярность и за пределами Microsoft.

Компания стала одним из первых участников новой платформы Nvidia Open Agent Safety Platform, которую поддержали более 100 других технологических компаний. Платформа изолирует агентов в защищённых средах, отслеживает их поведение и может остановить его на аппаратном уровне — примерно как аварийный выключатель.

Ранее Microsoft также представила новые компьютеры Surface Laptop Ultra, созданные для работы с агентами. Они работают на чипах Nvidia, а средства защиты и управления агентами встроены в систему.