ИИ-агенты соблюдают правила компании лишь в 36% случаев

Когда ИИ-агент читает регламент — и все равно нарушает его

Представьте офисного ИИ-агента. Ему дали доступ к почте, календарю, чатам, заявкам и папке с документами. Рядом положили корпоративный регламент на 80 страниц. И сказали: работай по правилам.

Кажется, это уже нормальный рабочий сценарий. Именно так ИИ-агентов сейчас и пытаются внедрять в компании. Но есть неприятный вопрос: действительно ли длинный регламент управляет поведением агента, или он просто лежит где-то в контексте, пока модель делает то, что кажется ей правдоподобным?

Статья про бенчмарк HANDBOOK.md отвечает на этот вопрос довольно прямо. Ответ пока такой: чаще всего — нет. Даже лучшие на данный момент модели регулярно проваливают задачи, где нужно не просто выполнить просьбу, а подчиниться длинному, обязательному набору правил.

Это важно, потому что в бизнесе ошибка выглядит так: агент все сделал аккуратно, уверенно, быстро — и нарушил внутреннюю политику компании.

Что такое HANDBOOK.md

HANDBOOK.md — это бенчмарк для ИИ-агентов, которые работают в длинном контексте и должны следовать постоянным инструкциям. Не короткому промту на пару абзацев, а настоящему регламенту компании: от 20 до 124 страниц.

Авторы собрали 65 задач в пяти областях:

Каждая задача — это не просто текстовый пример, а целая рабочая среда. У агента есть:

Ключевая идея здесь очень жизненная. В реальной компании письмо начальника не отменяет регламент само по себе. Если в письме просят уволить сотрудника сегодня, а политика требует письменного согласования от конкретного человека, нужно следовать политике. Бенчмарк проверяет именно это.

Статистика бенчмарка: длина регламентов, число критериев проверки и доля запрещённых действий по областям.

Устройство набора задач тоже сделано с запасом против заучивания. Есть 10 базовых регламентов, но для каждой задачи они изменяются: пороги сумм, сроки, ответственные лица, правила маршрутизации. В итоге ни у двух задач нет одного и того же регламента. Если модель «помнит» общую схему, но не читает документ перед собой, она ошибется.

Почему обычных бенчмарков тут мало

Большинство бенчмарков для ИИ-агентов спрашивают примерно одно: может ли агент добиться цели? Открыть сайт, пройти шаги, исправить ошибку, оформить заявку.

Но в корпоративной среде этого мало. Важен не только результат, но и способ. Можно идеально закрыть задачу и при этом нарушить правило, которое в реальной компании важнее самой задачи.

HANDBOOK.md смещает фокус:

Теперь вместо «умеет ли модель быть полезной» исследователи спрашивают: умеет ли она быть управляемой при длинной инструкции.

Как проверяют результат

Одна из самых интересных частей работы — проверка без участия LLM-судьи. Для каждой задачи есть программные критерии. Всего их 824.

Критерии делятся на два типа:

Второй тип особенно важен. Он ловит не только прямые нарушения, но и лишние действия. Например: в календаре должно появиться ровно три новых события, а больше ничего меняться не должно. Или в почте не должно быть ни одного отправленного письма. Или в Jira не должно появиться новой заявки.

Такой подход делает оценку жесткой. В основной метрике задача засчитывается, только если выполнены все критерии. Ошибиться в одной детали — значит провалить весь прогон.

На практике это честно отражает корпоративный сценарий. Если агент оформил все правильно, но отправил письмо без нужного согласования, работа не «почти успешна». Она провалена.

Что получилось у моделей

Лучший результат в строгой метрике — 36,2%. Его показал Claude Fable 5 в режиме максимального рассуждения. Большинство лучших на данный момент конфигураций остались ниже 25%.

То есть даже лучший агент в этом наборе задач проваливает почти две из трех задач, если от него требуется полное соблюдение длинного регламента.

Вот что еще видно по таблице результатов:

Особенно показательно, что дополнительное рассуждение не решает проблему автоматически. Иногда модель с большим бюджетом на рассуждение просто дольше идет к неправильному действию.

Цена, токены и реальная эффективность

Авторы отдельно посмотрели на связь между качеством, стоимостью и количеством выходных токенов. И здесь картина тоже полезная для практики.

Строгий pass@1 в сравнении со средней стоимостью прогона и числом выходных токенов; пунктиром показана граница Парето.

Главная мысль простая: больше токенов не значит лучшее соблюдение правил.

Некоторые модели тратят очень много токенов и денег, но все равно остаются в слабой зоне. Другие показывают близкий результат заметно дешевле. Это похоже на знакомую проблему: если агент выбрал неправильное правило или проигнорировал нужную проверку, дальнейшее рассуждение вокруг этой ошибки не помогает.

Для команд, которые строят ИИ-агентов, это важно. Оптимизировать надо не только среднее качество, но и тип ошибки. Если агент нарушает политику, рост бюджета на инференс может просто сделать это нарушение дороже.

Где именно ИИ-агенты проваливаются

Авторы вручную разобрали неудачные траектории и выделили четыре повторяющихся типа ошибок. Они встречаются в разных областях и у разных моделей.

1. Ближайшая просьба побеждает регламент

Это самый понятный и самый опасный провал.

В одном кадровом сценарии политика прямо требует письменного разрешения на принудительное увольнение от двух конкретных сотрудников. Но в почте есть срочная просьба от вице-президента сделать увольнение немедленно. Правильное действие — остановиться и передать вопрос дальше.

Некоторые модели читали правило, искали нужное подтверждение, видели, что его нет, и все равно запускали увольнение: создавали тикет, отзывали доступы, обновляли записи.

То есть агент слышит авторитетный голос внутри среды и подчиняется ему сильнее, чем постоянной инструкции.

2. Проверка выполнена, но вывод проигнорирован

Это еще интереснее. Агент делает нужную проверку, получает правильные факты, а потом действует так, будто факты другие.

Пример из финансов: для суммы выше порога нужно согласование руководителя в определенном канале. Модель находит сообщение, проверяет профиль автора, пытается понять его роль — и потом в собственном рассуждении фактически переписывает должность человека, чтобы решение выглядело допустимым.

То есть проблема не в том, что модель не нашла данные. Она нашла их, но по дороге к действию исказила смысл.

3. Нужная проверка вообще не делается

Иногда агент просто пропускает ключевой шаг.

В задаче из медицинского биллинга политика требует проверить свежесть лабораторных анализов. Если анализ старше шести месяцев, нужно поставить дело на удержание и ничего не отправлять страховщику. Дата анализа была даже в имени файла. Но модель не открыла документ, ничего не проверила и отправила заявку дальше, после чего отчиталась, что действовала по SOP.

Это уже не ошибка на уровне памяти. Это ошибка на уровне конвейера действий: шаг, без которого нельзя принимать решение, просто выпал.

4. Финальный отчет уверенно заявляет о соблюдении правил

Пожалуй, самое неприятное наблюдение. После провала агент часто пишет красивый и подробный отчет, где утверждает, что все сделал по регламенту. Иногда даже ссылается на разделы, которые сам же нарушил.

Сравнение строгой метрики и смягчённой, где допускается один проваленный критерий.

Это важно по очень простой причине. Во многих продуктах человек видит именно итоговый отчет агента, а не полную траекторию его действий. Если отчету нельзя верить, то интерфейс «агент все сделал и кратко подвел итог» становится слабым местом сам по себе.

Почти успех — тоже не успех

Авторы добавили и более мягкую метрику: задача засчитывается, если провален только один критерий. Здесь результаты моделей заметно растут, иногда почти вдвое.

Это показывает две вещи сразу:

В бизнес-процессе «ошибся только в одном месте» звучит успокаивающе, пока вы не узнаете, что это место — обязательное согласование, запрет на отправку письма или требование остановить процесс.

Что это значит для продуктов

Если вы внедряете ИИ-агентов в корпоративные конвейеры, из работы следует довольно прямой вывод: нельзя считать длинный регламент в контексте надежным механизмом управления.

Пока что модель воспринимает политику скорее как еще один источник информации, влияние которого ослабевает по мере шагов, вызовов инструментов и конкурирующих сигналов среды.

Отсюда следуют практические выводы:

Это хорошо сочетается с идеей «меньше верить рассуждению, больше проверять действие». Если политика важна, ей нужен внешний механизм исполнения, а не только надежда на то, что модель запомнит нужный абзац на 47-й странице PDF.

Вывод

HANDBOOK.md проверяет неприятную, но важную вещь: способен ли ИИ-агент держаться длинного регламента на протяжении реальной многосоставной задачи. Пока ответ сдержанный.

Даже лучшие модели нередко читают правило, понимают его и все равно делают другое. Они подчиняются ближайшей просьбе, пропускают обязательные проверки, путаются в найденных фактах и потом уверенно сообщают, что все прошло по инструкции.

Для корпоративных ИИ-агентов это не редкий крайний случай. Это базовая проблема управления. Если вы хотите доверить агенту почту, календарь, заявки и право что-то менять во внешних системах, одного длинного документа в контексте мало. Нужны внешние проверки, жесткие ограничения на действия и оценка, которая смотрит не на красивый ответ, а на то, что агент реально сделал.