Как понять, что ИИ-агент действительно стал лучше
Условие завершения, тестовые сценарии, метрики, регрессионное тестирование и цикл улучшения агента
Разберём, как задать агенту условие завершения и технические лимиты, почему нескольких удачных примеров недостаточно для оценки надёжности и зачем проверять весь путь выполнения. Рассмотрим, по каким метрикам сравнивать версии агента, как находить регрессии и выстроить воспроизводимый цикл улучшений.
Агент работает циклом
ИИ-агент работает циклом и выбирает следующий шаг на основе текущей ситуации.
В обычном воркфлоу последовательность шагов и правила переходов задают заранее. В агентном цикле модель наблюдает, принимает решение, действует и снова наблюдает. На следующем шаге она учитывает результат предыдущего действия.
Возьмём агента, который проверяет клиента. Он смотрит на данные и понимает, что их не хватает. Запрашивает историю транзакций, получает результат — и состояние задачи меняется. Следующее решение агент принимает уже на новых данных.
Условие завершения и лимиты
Раз агент сам выбирает следующие шаги, кто скажет ему, когда остановиться?
Полный маршрут агента заранее знать необязательно. Условие завершения нужно определить до запуска.
Условие завершения отвечает на вопрос, когда работа сделана. В нём три части: получены все обязательные данные, выполнены нужные подзадачи, итоговый результат прошёл проверку.
Одного условия мало. Если в логике агента ошибка, оно может так и не выполниться — и цикл станет практически бесконечным, а каждый его круг стоит времени и денег. Поэтому дополнительно задают технические лимиты — максимальное число итераций и вызовов инструментов, ограничения по времени и стоимости.
он достигает цели с приемлемыми затратами и надёжно завершает работу
Нужен набор сценариев
Несколько удачных примеров почти ничего не говорят о надёжности агента.
Как только агентом начинают пользоваться реальные люди, быстро появляются ситуации, которых никто не проверял.
Поэтому нужен репрезентативный набор тестовых сценариев шести типов: обычные случаи, нехватка данных, неоднозначные запросы, редкие ситуации, ошибки внешних сервисов и случаи, когда правильное решение — передать задачу человеку. Ожидаемое поведение для каждого теста задают заранее.
Проверяют весь путь
Проверять нужно весь путь выполнения агента, включая итоговый ответ и фактический результат действий.
На каждом тесте смотрят, правильно ли агент понял ситуацию, выбрал ли верный маршрут, использовал ли нужный инструмент, корректно ли сформировал параметры, не вышел ли за пределы своих полномочий и достиг ли нужного результата.
Если агент должен создать заявку, проверяют, что она появилась в нужной системе и содержит верные данные. Сообщения «Готово» для этого недостаточно.
При этом корректных путей к результату может быть несколько. Тест не должен отклонять решение только из-за другого порядка шагов, если обязательные проверки выполнены и ограничения соблюдены.
Смотреть только на ответ опасно: агент может написать прекрасное объяснение и одновременно совершить запрещённую операцию.
Прекрасное объяснение того, что сделано и почему.
Если тест смотрит только сюда, он пройден.
Среди шагов — действие, на которое у агента нет прав.
Тест, который смотрит только на ответ, её не заметит.
Чем лучше тестовый набор отражает реальные ситуации, тем точнее вы понимаете надёжность системы в работе.
Стал ли агент лучше
Когда тесты готовы, нужны метрики, чтобы объективно сравнивать версии агента.
Тестовый набор даёт материал, а метрики превращают его в числа, которые можно сравнить. Измеряют правильность решений, соблюдение ограничений, соответствие ответа заданной структуре, успешность вызовов инструментов, качество передачи задачи человеку, скорость и стоимость запуска.
Версии сравнивают в сопоставимых условиях: на одинаковых исходных данных и с одинаковыми лимитами. Важные сценарии запускают несколько раз, поскольку ответы модели могут различаться. Часть примеров оставляют для отдельной проверки и не используют при настройке агента.
Для бизнеса важен и конечный эффект. Точность классификации выросла на 3 % — хорошо. А что изменилось в процессе? Рост автономности полезен там, где самостоятельные действия разрешены правилами процесса.
Улучшили одно — сломали другое
После любого изменения агента запускают тот же набор тестов и сравнивают версии.
Меняться может что угодно: модель, промт, контекст, инструмент или сам процесс. Любая такая правка способна задеть сценарии, о которых в момент изменения никто не думал. Повторная проверка по тому же набору после изменений — это регрессионное тестирование. Оно показывает, не сломали ли вы другие сценарии, улучшая один.
Допустим, вторая версия лучше справляется с редкими ситуациями, но проверка по всему набору показывает, что сценарий с отсутствующими данными теперь не проходит.
Поэтому качество агента определяется устойчивым поведением на репрезентативном наборе задач — то есть на таком, который отражает реальные ситуации. Один удачный сценарий ещё не подтверждает надёжность агента.
Не спешите переписывать промт
Если ИИ-агент ошибся, сначала найдите причину — и только потом решайте, что менять.
Когда уже есть тесты и метрики, улучшение агента можно превратить в системный цикл из четырёх шагов: запуск → оценка → анализ → улучшение. Затем цикл повторяют. Сначала агент выполняет тесты или реальные задачи. Затем результат оценивают и ищут причину ошибки. После анализа создают новую версию — и снова запускают те же тесты. Цикл улучшения промта из статьи об инженерии промтов — частный случай этого цикла, когда меняют только промт.
Причину ищут не только в промте: это может быть неправильный контекст, плохо спроектированный инструмент, ошибка в логике процесса или неподходящая модель. Во второй лекции мы разбирали ошибки отдельных навыков агента. Здесь рассматриваем и другие части системы.
Часть цикла можно автоматизировать. Одна модель анализирует неудачные запуски и группирует ошибки, другая предлагает изменения, а система сравнивает показатели новой версии. Если результаты оценивает другая модель, её оценки тоже проверяют на примерах с заранее известным правильным результатом.
или нам только кажется?
Так развитие агента становится воспроизводимым инженерным процессом улучшения всей системы — вместо хаотичного редактирования промтов.
Что важно запомнить
Условие завершения — до запуска
Маршрут складывается по ходу цикла, но условие завершения и лимиты по итерациям, вызовам, времени и стоимости задают заранее.
Шесть типов сценариев
В наборе — обычные случаи, нехватка данных, неоднозначные запросы, редкие ситуации, сбои сервисов и случаи для передачи человеку.
Хороший ответ не отменяет запрещённой операции
На тестах смотрят, понял ли агент ситуацию, верно ли выбрал маршрут и инструмент, корректно ли собрал параметры и не вышел ли за разрешённые действия.
Эффект виден в процессе
Рост точности на 3 % — хорошо. Бизнесу важны время обработки, ошибки, ручная работа и доля задач без сотрудника.
Любое изменение — тот же набор тестов
Регрессионное тестирование показывает, не сломали ли вы другие сценарии, улучшая один.
Причина не всегда в промте
Она бывает и в контексте, инструменте, логике процесса или модели. Цикл с тестами показывает, стал ли агент лучше на самом деле.
Тот же набор тестов показывает, так ли это.
Читайте также
Всё обучение
Инженерия обвязки: что делает ИИ-агента управляемым и надёжным
Инженерия контекста: как научить ИИ-агента понимать ситуацию
Почему идеальный промт не спасает плохого агента
Как данные движутся по ИИ-воркфлоу
ИИ-операции и инструменты: как решение модели становится действием
Архитектура ИИ-агента: от LLM-функции до графа навыков
ИИ-платформа: как собрать агентов в единую систему
Где процессу нужен ИИ-агент, а где хватит правила
Что нужно, чтобы ИИ-автоматизация реально заработала
Как превратить человеческое мышление в работающего ИИ-агента
AI-First компания: какая работа остаётся человеку в мире ИИ-агентов
Как перестроить процесс под ИИ-агентов и не потерять контроль
Как найти точки автоматизации с максимальной отдачей
Как увидеть бизнес-процесс таким, какой он есть на самом деле
Как провести рентген бизнеса и извлечь знания экспертов
Как выбрать правильный процесс для автоматизации
От механизации до ИИ-агентов: как эволюционировала автоматизация
Бизнес как система процессов: как потоки данных создают ценность
AI-First-компания: новые роли и новая оргструктура
AgentOps: шесть шагов от идеи до работающего ИИ-агента
ИИ-стратегия: три уровня внедрения ИИ-агентов в бизнес
Готова ли ваша компания к ИИ-трансформации?
Три трансформации, которые полностью изменили бизнес
Где ИИ-агенты создают бизнесу максимум ценности
Пять уровней эволюции ИИ-агентов
Кто такой ИИ-агент и почему он меняет устройство компании
Что такое AI-First-компания и как она работает
Дальше — практика
Эта статья и её продолжение основаны на третьей лекции курса по автоматизации бизнес-процессов с ИИ-агентами.
В следующей статье — инженерия работающего агента: из чего складывается его полная архитектура, зачем нужны контроль версий и откат, как наблюдаемость и трассировка помогают найти причину ошибки и почему надёжный агент — тот, что умеет правильно работать с ошибками. А ещё — выводы всей лекции и практическое задание.
От диагностики бизнеса
— до работающего агента.