ALTK-Evolve: как обученная память выводит модель без передовых ИИ-возможностей в лидеры τ²-bench по задачам поддержки клиентов

Как устроена память агента

ALTK-Evolve анализирует попытки агента на обучающих задачах и с помощью GPT-4.1 превращает удачные и неудачные решения в короткие правила поведения. Они подсказывают, например, как подтвердить личность клиента, согласовать операцию или оформить возврат. Затем правила добавляют в промт для следующих разговоров. Одна и та же модель извлекает правила и выполняет задачи.

Ранее авторы проверяли этот подход на агентах для программирования. Теперь они применили его к поддержке клиентов: здесь нужно соблюдать правила предметной области, понимать запрос человека и правильно вызывать инструменты.

Что проверяет τ²-bench

τ²-bench от Sierra оценивает, насколько хорошо агент ведёт диалог с клиентом в заданных условиях. В каждой задаче агент общается с клиентом, которого имитирует языковая модель: у клиента есть цель, а агенту доступны инструменты предметной области — например, поиск заказа, возврат денег или перенос авиарейса. Также агент должен следовать письменным правилам.

Для успеха нужно выяснить необходимые подробности, не нарушить правила и выполнить верные действия — иногда необратимые. Задача засчитывается только тогда, когда итоговое состояние базы данных совпадает с ожидаемым. Награда бинарная: задача либо решена, либо нет. Авторы использовали два направления бенчмарка — розничную торговлю и авиаперевозки.

В эксперименте работала стандартная реализация простого агента ReAct из τ²-bench с циклом «подумать → действовать». Агентом была gpt-4.1, а клиентом-симулятором — gpt-5.5; каждую задачу запускали четыре раза. Единственное изменение — блок извлечённых правил, добавленный в системный промт. Правила, инструменты и фреймворк оставили без изменений. Правила помещали в обычный список Markdown после политики предметной области:

You are a customer service agent that helps users according to the policy below.
Always follow the policy strictly. Use the provided tools when needed.

<policy>
# Retail agent policy

As a retail agent, you can help users:
- cancel or modify pending orders
- return or exchange delivered orders
- modify their default user address
…
</policy>

## Guidelines learned from past task attempts (follow these carefully):
- Authenticate the user before taking any order-related action. If email is unavailable, verify identity via full name and zip code using the find_user_id_by_name_zip API.
- Always confirm all intended changes (modify, cancel, return, exchange) with a clear, structured summary, and require explicit user approval before executing any database-updating action.
- When processing a return or exchange, communicate the refund with an itemized breakdown and clarify refund timing — don't wait for the user to ask.
- Take one action per step: never combine a tool call with a user-facing message in the same turn, and wait for the tool's result before replying.
- Before looking a user up, parse and clean their name — e.g. split a combined handle like `daiki_johnson_9523` into first/last name — and after a couple of failed lookups, state the exact format you need.
…

В этом фрагменте промта агенту предписывают помогать клиентам по заданной политике и при необходимости пользоваться инструментами. Правила требуют сначала удостоверить личность клиента; согласовывать изменения и получать явное разрешение перед действиями, меняющими базу данных; подробно объяснять возвраты и сроки; выполнять по одному действию за шаг. Также агенту советуют очищать и разбирать имя перед поиском пользователя, а после нескольких неудачных попыток точно объяснить, какой формат нужен.

Правила извлекали из траекторий агента на обучающей части τ²-bench с помощью gpt-4.1 — той же модели, которая выполняла задачи. Затем их без изменений применяли к отложенной тестовой выборке.

Правила повышают точность и надёжность

В предыдущей публикации авторы отмечали, что разным моделям и задачам нужно разное количество подсказок. Поэтому они сравнили несколько вариантов набора правил.

У каждого правила есть показатель поддержки — число разных обучающих задач, по которым его извлекли. Чем он выше, тем больше задач подтверждают правило и тем меньше оно похоже на случайное решение. Сравнивали три конфигурации:

Каждую задачу запускали четыре раза и оценивали двумя способами:

Для агента на gpt-4.1 средняя точность выросла в обоих направлениях: на 4,4 процентного пункта в розничных задачах — с 78,1% до 82,5%, и на 7,5 пункта в авиаперевозках — с 57,5% до 65,0%. Показатель Pass⁴ прибавил по 10 пунктов: в рознице — с 57,5% до 67,5%, в авиаперевозках — с 35,0% до 45,0%. Рост связан с более точными действиями, а не с удлинением разговоров: длину диалогов авторы проверили отдельно.

Сколько правил нужно, зависит от задачи

В розничных задачах больше правил улучшает все метрики. Компактный набор sup3 лишь немного превосходит исходный агент по точности, а заметный рост даёт полный набор lossless.

В авиаперевозках результаты различаются: lossless показывает более высокую точность — 65% против 60%, — но компактный sup3 из 14 правил надёжнее. Он поднимает Pass⁴ до 45%, тогда как у lossless этот показатель равен 40%. Авторы связывают это с тем, что объём подсказок — настраиваемый параметр: число правил стоит подбирать отдельно для каждой области.

Точность растёт без дополнительных ходов

Правила увеличивают расход входных токенов промта, но не заставляют агента вести более длинные разговоры.

Чтобы сравнить число ходов, авторы взяли задачи, решённые и исходным агентом, и вариантом с правилами. Сценарии и начальные условия в каждой паре были одинаковыми; сравнение охватывало тестовую выборку и четыре запуска на задачу.

На этих совпадающих запусках диалоги с правилами оказались немного короче. В варианте lossless число ходов сократилось примерно на 0,3–0,4 в обоих направлениях: с 10,59 до 10,16 в рознице и с 9,15 до 8,82 в авиаперевозках. Ни один вариант не увеличил длину разговоров.

Меньше ходов означает не только меньшую стоимость: каждый ход — отдельный последовательный запрос к языковой модели, поэтому сокращается и общее время выполнения задачи. Дополнительные расходы возникают на входе из-за более длинного системного промта, который передаётся при каждом вызове. В рознице промт с 292 правилами повышает стоимость разговора примерно с $0,084 до $0,139; в авиаперевозках набор правил меньше и обходится дешевле. В рабочей системе часть этих расходов можно сократить кэшированием промта, поскольку блок правил одинаков при каждом вызове.

Итоговое сравнение показывает: немного более высокая стоимость входных данных — часть её можно компенсировать кэшированием — сочетается с большей точностью, надёжностью и меньшим временем выполнения задачи.

Правила помогают и передовым моделям

До этого эксперимента авторы использовали gpt-4.1 — более старую модель без рассуждений. Можно предположить, что правила полезны лишь для компенсации слабых сторон такой модели. Чтобы это проверить, авторы повторили эксперимент на авиаперевозках с gpt-5.5 и как агентом, и как моделью для извлечения правил. Фреймворк ReAct из τ²-bench оставили прежним, а правила заново получили из запусков самого агента.

В этом эксперименте ни одно правило не набрало поддержку 3: максимум составил 2. Поэтому компактный набор с высокой поддержкой здесь назывался sup2, а не sup3.

Правила помогли и в этой конфигурации. На тех же отложенных тестовых задачах добавление правил подняло точность с 72,5% до 82,5%, а Pass⁴ — с 55% до 70%. Прирост надёжности в 15 пунктов оказался выше, чем в эксперименте с gpt-4.1 на этих же задачах, где он составил 10 пунктов. Исходный уровень gpt-5.5 тоже был выше. В повторных запусках базовый показатель надёжности колебался, а lossless каждый раз давал одинаковый результат: улучшение оказалось воспроизводимым.

ALTK-Evolve сравнили с участниками рейтинга

По правилам τ²-bench, заявки оценивают на всей базовой выборке — обучающей и тестовой вместе — и публикуют результат Pass⁴. Поэтому эти цифры отличаются от приведённых выше результатов только на тестовых задачах. На полной выборке память на уровне промта подняла агентов на базе разных моделей до уровня передовых участников рейтинга или выше.

В обоих направлениях результат одинаков: правила, извлечённые вокруг модели, помогают агентам на разных базовых моделях. В розничных задачах они вывели агента на старой модели без рассуждений в число лидеров, а в авиаперевозках помогли агенту на передовой модели занять первое место.

Агент улучшается без изменения весов

Дообучение модели на бенчмарке дорого, нестабильно и не гарантирует переноса результата в другую область. ALTK-Evolve улучшает стандартного агента на стандартной модели в обоих направлениях, а в розничных задачах сравнивается с дообученной системой или превосходит её. Для этого используются только правила на уровне промта, автоматически извлечённые из запусков самого агента — без разметки людьми и без утечки тестовых данных.

Ссылки