Лазарь, выйди вон: как перепрограммировать спящие нейроны и внедрить бэкдор в ИИ-агента

Как работает Lazarus

Триггером может быть обычное событие — например, смена даты. Исследователь Microsoft описал сценарий, в котором после наступления полуночи 2027 года агент во время обычной задачи выдаёт команду для загрузки и запуска кода злоумышленника. Дальше агент выполняет эту команду с теми правами, которые ему предоставили.

Для атаки достаточно изменить веса модели: обучение не требуется. В каждой большой языковой модели есть нейроны, которые срабатывают редко. Их можно перенастроить так, чтобы они активировались только при определённом триггере. По объяснению исследователя, предварительное обучение хорошо организует внутренние представления модели, поэтому классификатор, настроенный примерно на 50 примерах, может отличать входные данные с триггером от остальных.

Один перепрограммированный нейрон способен добавить один токен: при активации он может направить нужный токен в остаточный поток модели. Несколько таких нейронов можно связать, чтобы сформировать произвольную последовательность команд для терминала. Для изменения весов нужны только вычислительные ресурсы для инференса: если компьютеру хватает оперативной памяти, чтобы запустить модель, её хватит и для внедрения бэкдора в веса.

Атака особенно опасна для ИИ-агентов. Модель может пройти все проверки, а затем по сигналу выдать команду, которую агент выполнит с доступными ему правами.

Как обнаружили угрозу

Эксперимент начался в марте: исследователь попросил Claude Code с Opus 4.5 внедрить бэкдор в модель, вручную изменив несколько активаций и не проводя обучение. Система справилась, и эксперимент перерос в многомесячное исследование метода, получившего название Lazarus.

Исследователи отмечают, что агенты для программирования с передовыми моделями способны находить необычные изменения весов, если попросить их проверить модель. Но ни одно сканирование само по себе не доказывает, что модель безопасна. Для надёжного обнаружения изменений веса нужно сравнить с исходной, неизменённой версией. Поэтому важно знать происхождение модели и удостовериться, что между разработчиком и развёртыванием её не меняли.

Бэкдоры в моделях — разновидность угрозы со стороны скомпрометированного программного обеспечения. Lazarus не нацелен только на модели с открытыми весами: для атаки достаточно получить возможность записывать изменения в контрольную точку модели. Под угрозой могут оказаться и модели, созданные внутри организации, например если злоумышленник скомпрометирует учётную запись, пайплайн или хранилище.

Исследователи рекомендуют относиться к моделям как к потенциальному внутреннему источнику риска: не доверять им автоматически, ограничивать их полномочия и следить за их действиями.

Защита Microsoft Foundry

Microsoft Foundry проверяет происхождение моделей Azure Direct Models и моделей Hugging Face. При подключении моделей с открытыми весами сервис использует контроль поставок, связывающий модель с её первоначальным издателем, указанным в карточке модели. Затем модель запускается в контейнерах Microsoft, которые отдельно проверяют на критические уязвимости. Эти меры охватывают происхождение модели и программную среду вокруг неё.

Остаётся риск, что скомпрометирован сам доверенный поставщик — например, через инфраструктуру обучения или действия инсайдера. Microsoft начала развивать меры защиты для такого сценария. В частности, компания вместе с внутренними командами безопасности ИИ превращает методы обнаружения из исследования в набор инструментов для проверок на проникновение. Также Microsoft изучает, как использовать передовые ИИ-агенты для поиска аномальных изменений весов при подключении моделей с открытыми весами.

Кроме того, компания планирует подписывать модели, чтобы проверять их происхождение и вести защищённые от подделки журналы аудита. Microsoft также разрабатывает сканирование весов с помощью ИИ и инструменты для поиска необычных изменений моделей.

(Это не исчерпывающий перечень; ни одна проверка не может гарантировать безопасное поведение. Эти меры должны быть одним из уровней многоуровневой защиты.)

Источник: microsoft.com

В исследовании говорится, что приём Lazarus удалось обнаружить Claude Code с Opus 4.5, причём большую часть работы система выполнила самостоятельно. Авторы подчёркивают: веса моделей следует проверять так же, как программный код, хотя такая практика пока не стала обычной.

По оценке Dataist, Lazarus показывает, что проверка поведения модели не выявляет все изменения, способные повлиять на действия агента. Защита зависит и от целостности весов, и от их происхождения; даже сканирование не гарантирует безопасность без сравнения с исходной версией.