ИИ-агенты могут безошибочно выполнять каждый вызов инструмента и всё равно нарушать корпоративные правила

Проблема агента без правил

В основе языковой модели лежит вероятностный механизм: она выбирает следующие токены по математической вероятности, а не следует набору жёстко заданных правил. Обычно индустрия пытается добавить модели возможность действовать в реальном мире с помощью вызова инструментов — например, через программные интерфейсы (API).

Сам инструмент может выполнять заданную команду одинаково каждый раз. Но решение о том, какой инструмент вызвать, когда это сделать и какие аргументы передать, по-прежнему принимает вероятностная модель.

Универсальный инструмент выполняет полученные инструкции, поэтому вызов инструментов сам по себе не решает проблему контроля. Он переносит её на границу инструмента, которая остаётся открытой и неуправляемой. Компании всё чаще должны учитывать этот риск в рамках формальных подходов к управлению рисками ИИ и развития открытой защищённой ИИ-инфраструктуры.

Если поместить вероятностную модель во фреймворк для ИИ-агентов и задать ей цель, получится самостоятельная система, способная добиваться результата. Но в её устройстве нет встроенного понимания корпоративных правил.

Допустим, руководитель поручает готовому агенту оформить международного подрядчика. Если агенту не задали ограничений, он будет стремиться только завершить задачу. Каждый вызов инструмента может пройти успешно, но по пути агент способен обойти местные трудовые законы, правила удержания налогов и проверки статуса работника.

Агент делает это не из злого умысла: его устройство просто не учитывает существование таких требований. Он завершает задачу через системы, которые недостаточно строго проверяют соблюдение правил. Снаружи это выглядит как выигрыш в скорости, но на деле создаёт риск серьёзных проблем с регулированием.

Ловушка теневой ERP

Когда ИТ-руководители замечают такое поведение, они обычно пытаются устранить уязвимость извне. Команды создают внешние шлюзы для языковых моделей, добавляют промежуточные слои с правилами или помещают объёмные корпоративные инструкции в уже переполненное контекстное окно.

Ни одно из этих решений не даёт гарантии: промт — это просьба, а не обязательство. Через 18 месяцев инженеры могут потратить миллионы на ручное воссоздание организационной структуры, правил маршрутизации и прав доступа внутри отдельного самодельного стека для ИИ.

Так возникает «теневая ERP» — параллельная копия бизнес-логики, которая уже работает в корпоративной системе учёта. Она хрупкая, содержит ошибки и требует постоянного обслуживания. Вместо упрощения работы компания получает растущие расходы и разрозненный контроль.

Ограничения на уровне инференса

Чтобы агент соблюдал правила изначально, безопасность должна быть частью основной инфраструктуры и работать непосредственно на уровнях инференса и выполнения действий. Для полного контроля над тем, что агент видит и делает, инференс нужно запускать на платформе, где уже настроено корпоративное управление. Автор выделяет три компонента:

Самая трудная задача корпоративного ИИ — соблюдение правил. Например, для расчёта зарплаты нужно учитывать меняющиеся требования к удержаниям и оплате труда в тысячах юрисдикций. Отдельная модель не может самостоятельно воспроизвести всю эту систему. Компания уже вложилась в систему учёта, а не стала создавать собственный механизм расчёта зарплаты. Передача агентов внешнему промежуточному слою незаметно отменяет это архитектурное решение. Чтобы агент соблюдал правила, его нужно запускать там, где эти правила уже действуют.

Принцип близости

Каждое ограничение зависит от актуального состояния корпоративной системы: структуры организации, действующих прав доступа и настроенных бизнес-процессов. Если воссоздавать всё это снаружи, агент будет видеть устаревший снимок данных, а для действий использовать рискованные статические ключи API. Чем дальше система ограничений от корпоративной платформы, тем хуже она работает.

Расстояние замедляет и выполнение задач. ИИ-агенту для одной задачи могут понадобиться десятки вызовов инструментов. Каждый раз, когда такой вызов пересекает внешнюю границу доверия, системе приходится заново проверять, кто его отправил. Внутри родной платформы необходимый контекст безопасности уже доступен. Архитектура, которая помогает агентам соблюдать правила, одновременно ускоряет их работу.

Автор называет это принципом близости: инференс ИИ должен выполняться непосредственно на платформе, которая управляет агентом. И соблюдение правил, и скорость работы ухудшаются с каждым дополнительным переходом между системами.

Получив предложение о внедрении ИИ-агента, руководителю стоит спросить, где работают механизмы контроля. Если их нужно создавать и обслуживать во внешнем слое вдали от системы учёта, компания строит теневую ERP. Чтобы ускорить работу, агентов нужно подключать напрямую к системе, в которой уже заданы корпоративные правила.