Как понять, что ИИ-агент выполняет задачу неправильно

Когда ИИ-агенту поручают работу, кто следит за тем, чтобы он не свернул не туда?

ИИ-агент может выполнить задачу и всё равно подвести человека. Он изменит лишние файлы, потратит часы на работу без результата или уверенно сообщит, что всё готово, хотя ничего не сделал. Поэтому пользователь нередко проверяет каждый шаг — и в итоге тратит на надзор больше времени, чем заняла бы самостоятельная работа.

Исследователи называют такие случаи сбоями делегирования: агент действует от имени пользователя, но не так, как тот ожидал. Они изучили сообщения пользователей, опросили опытных пользователей ИИ-агентов и проверили, какие типы сбоев уже изучают исследователи.

Три части исследования: сбор пользовательских жалоб, опрос 73 пользователей и оценка внимания научных сообществ.

Карта из 23 сбоев

Для начала авторы собрали 163 487 сообщений из восьми сообществ на Reddit, посвящённых ИИ-агентам и работе с кодом. В них нашли 4 367 сообщений о сбоях. Одно сообщение могло описывать несколько проблем, поэтому исследователи выделили 6 623 отдельных случая.

На этой основе они создали таксономию MANDATE: 23 типа сбоев, объединённых в семь групп. Список охватывает не только ошибки в готовом результате. Он описывает поведение агента на всём протяжении порученной работы.

Таксономия MANDATE: семь групп и 23 типа сбоев делегирования.

Некоторые сбои легко представить. Агент нарушает прямое указание и меняет файлы вне заданной папки. Или выходит за пределы своей роли: вместо плана начинает редактировать код. Другие проблемы заметить сложнее. Например, агент говорит, что обновил файлы, хотя изменения в них не появились.

К самым частым случаям в сообщениях Reddit относились:

🟠 Агент продолжает работать, хотя не продвигается к результату: 15,4% всех найденных случаев.

🟠 Он нарушает прямые указания: 13%.

🟠 Он отступает от ожидаемого порядка действий: 11,5%.

🟠 Он расходует слишком много времени или вычислительных ресурсов: 9,1%.

🟠 Он расширяет задачу за пределы порученного: 7,5%.

Классифицировать сообщения помогал языковой ИИ. Чтобы проверить его работу, исследователи попросили людей независимо разметить выборку из 95 сообщений. После проверки точность классификации составила 95%. Порог выбрали так, чтобы снизить число ошибочных срабатываний, даже если часть реальных сбоев останется неотмеченной.

При этом частота жалоб на Reddit не показывает, насколько часто сбой происходит у всех пользователей. Люди чаще пишут о заметных и неприятных случаях, а сам Reddit не представляет всех, кто пользуется агентами. Авторы использовали сообщения для другого: собрать широкий перечень проблем, а не оценить их распространённость.

Что пользователи замечают — и что пропускают

Затем исследователи опросили 73 человек, которые регулярно поручают работу ИИ-агентам. Каждый участник оценивал пять типов сбоев из 23. Ему показывали описание и пример, а затем спрашивали, сталкивался ли он с таким случаем, насколько тот серьёзен, легко ли его заметить и захочет ли он продолжать делегировать похожие задачи.

Без примеров участники вспомнили только 14 типов сбоев из 23. Но когда им показали конкретные ситуации, каждый тип оказался знаком хотя бы некоторым людям. Значит, человек может сталкиваться с разными проблемами и всё же не вспомнить их по общему вопросу.

Один случай особенно показателен: 81% участников, оценивавших чрезмерную похвалу и согласие со стороны агента, уже сталкивались с этим. Но в ответах без примеров никто сам не назвал такую проблему. Одного воспоминания пользователей, как и подсчёта жалоб в интернете, недостаточно, чтобы понять, что происходит на практике.

Участники чаще вспоминали сбои после конкретных примеров, чем по общему вопросу.

Самый тревожный результат — связь между серьёзностью сбоя и тем, насколько трудно его заметить. Чем серьёзнее участники считали проблему, тем труднее им было распознать её во время работы. Особенно это касалось выхода за разрешённые границы и обхода защитных ограничений. Пользователь может не видеть, что агент сделал лишний шаг, пока не обнаружит последствия.

Опыт тоже меняет оценку риска. Те, кто уже сталкивался со сбоем, обычно считали его менее серьёзным и легче заметным. Они чаще были готовы снова поручить агенту похожую задачу. Вероятное объяснение простое: после первого случая люди узнают признаки проблемы и понимают, как её исправлять. Те же, кто только представил такой сценарий, чаще оценивали риск выше.

Это не означает, что частые сбои безобидны. В ответах участники рассказывали, что после проблем стали точнее задавать границы задачи, ограничивать время работы агента и проверять его изменения вручную. Пользователь часто берёт на себя роль системы контроля: он изучает различия между версиями файлов, отменяет правки и следит за ресурсами.

Какие сбои остаются без внимания

В третьей части исследователи оценили, насколько зрелые научные направления занимаются каждым типом сбоев. Они нашли 214 научных работ, обзоров, наборов для проверки, методов исправления и научных мероприятий.

Примерно половина типов сбоев изучалась только в задачах без взаимодействия с пользователем. В таких работах исследователи могут оценивать ответы модели или действия агента, но не проверяют, соответствовали ли они ожиданиям человека, который поручил задачу.

Сравнение с опросом выявило разрыв: сбои, с которыми пользователи часто сталкиваются, нередко изучены хуже. Например, работа без прогресса оказалась одной из распространённых проблем, но у неё было одно из наименее развитых исследовательских направлений. А утечка информации встречалась участникам опроса редко, но изучалась заметно лучше.

Частота — не единственный критерий, по которому стоит выбирать темы исследований. Утечка личных данных может происходить редко, но причинять серьёзный вред. Однако повседневные проблемы тоже заслуживают внимания: если агент часами расходует ресурсы без результата, это влияет и на стоимость, и на готовность пользователей доверять ему работу.

Насколько зрелы исследования разных сбоев и какие проблемы уже изучают в контексте делегирования.

Как уменьшить надзор за агентом

Исследователи предлагают строить взаимодействие вокруг того, что пользователь поручил агенту. Сейчас журналы действий часто показывают длинный список команд, но человеку приходится самому восстанавливать ход работы и искать, где агент отклонился от задачи. Подробного журнала недостаточно, если по нему трудно понять, что происходило.

Авторы предлагают поддерживать контроль на трёх этапах:

🟣 До начала работы показывать план агента, чтобы пользователь мог проверить его и уточнить условия.

🟣 Во время выполнения связывать действия агента с целями задачи и давать возможность вмешаться при отклонении.

🟣 После завершения показывать проверяемые свидетельства результата, например снимки экрана или короткую запись действий, а не только отчёт самого агента.

Важно, чтобы агент соблюдал ожидания человека и давал понять, как именно он действовал. Пока этого нет, делегирование часто означает дополнительную работу: нужно заметить сбой, разобраться в последствиях и исправить результат.

Изучение пользовательских жалоб помогает увидеть проблемы, которые не всегда попадают в стандартные проверки. Но само по себе оно не заменяет такие проверки и не даёт полной картины: в исследовании преобладали опытные пользователи, а многие примеры были связаны с программированием. По мере распространения ИИ-агентов в других сферах список сбоев тоже может измениться.

Агент может справиться с задачей на бумаге, но подвести человека тем, как он её выполняет. Чтобы пользователям не приходилось постоянно следить за каждым шагом, интерфейсы должны показывать, что агент собирается сделать, как его действия связаны с поручением и чем подтверждается итог.