Как ИИ-агенту освоить новый навык на практике методом Сократа

Навык, который нужно проверить

Один удачный запуск ещё не означает, что ИИ-агент освоил полезную процедуру. Он мог случайно пройти задачу, не заметить важных условий и записать в навык правило, которое сработает только в одном случае.

Авторы статьи «Сократическое обучение навыкам» предлагают другой подход: эксперт помогает агенту, пока тот решает задачу. Агент сам работает с инструментами и пишет навык, а эксперт задаёт вопросы, предлагает проверки и указывает на пробелы. Совет можно проверить, изменить или отвергнуть.

Навык должен опираться на проверенные действия и условия их применения. Поэтому агент не просто получает готовую инструкцию. Он выясняет, когда она работает, и сам решает, что сохранить.

Что такое обучение навыкам

Метод называется сократическим обучением навыкам. В нём участвуют два ИИ-агента:

🟠 Ученик выполняет задачу, запускает инструменты, проверяет гипотезы и меняет пакет навыка.

🟠 Наставник читает ход работы и текущий пакет, но не может сам выполнять задачу или редактировать файлы.

🟠 После каждого учебного раунда другой, свежий экземпляр модели проверяет навык на исходной задаче. В конце его испытывают на новых задачах того же семейства.

Последнее условие принципиально. Если ученик просто запомнил ответ на тренировочную задачу, свежая проверка этого не выявит. Чтобы навык считался переносимым, он должен помогать с новыми вариантами задачи.

Исследователи проверили два расписания занятий. В первом наставник подключается через одинаковые промежутки: например, после каждых десяти действий ученика. Во втором он возвращается, когда появляется нерешённый вопрос или меняются данные, для которых может понадобиться новый совет. Такие вопросы сохраняются вместе с доказательствами и изменениями в навыке. Если прежнее решение перестаёт работать, вопрос можно открыть снова.

Ученик сам исследует задачу и пишет навык, а наставник направляет проверку и возвращается к нерешённым вопросам.

Проверка на новых задачах

Для экспериментов авторы собрали бенчмарк переноса навыков: 408 исполняемых задач, объединённых в 35 семейств. Они охватывают шесть областей, включая системное программирование, обработку данных, финансы и офисную автоматизацию. В каждом семействе есть исходная задача для обучения и другие задачи для проверки переноса.

Описание семейства заранее указывает, что остаётся неизменным, а что может меняться. Например, в задачах на восстановление базы данных меняются формат журнала, целостность данных и глубина восстановления. Ученик видит это описание и исследует задачу с учётом возможных вариантов, но проверочные задачи до конца обучения ему недоступны.

Главное сравнение провели на 22 семействах и 155 проверочных задачах. Для каждого навыка исследователи запускали свежую сессию модели на каждой проверке. Оценка показывала, какую долю требований выполнил решатель.

Навыки, созданные с помощью периодических занятий, получили оценку 0,801. Это выше, чем у метода без навыка — 0,723, адаптированного способа извлекать правила из рабочих последовательностей — 0,761 и метода, который сравнивает работу учителя и ученика, — 0,751.

С проверками справлялись и новые варианты расписания. Обучение по нерешённым вопросам набрало 0,805. Разница с периодическими занятиями невелика, зато наставнику понадобилось на 61,7% меньше токенов. Общее число токенов на обучение и проверки сократилось на 16,9%.

Итоги сравнения: оценка 0,805 при обучении по нерешённым вопросам; расход токенов наставника ниже на 61,7%; общее число токенов ниже на 16,9%.

Схема исследования: семейства задач, варианты обучения и сравнение качества навыков с затратами на наставника.

Почему наставник должен приходить вовремя

Авторы сравнили не только расписания, но и то, кому поручено создавать навык и когда появляется помощь. В нескольких парах моделей обучение с наставником во время работы превзошло создание навыка экспертом и советы после завершения задачи.

Время совета имеет значение. Пока ученик исследует задачу, совет может повлиять на то, что он проверит дальше. Если дождаться конца, часть важных решений уже принята, а недоказанные предположения могут попасть в навык.

После урока ученик чаще переходил к записи или редактированию файлов. Вероятность таких действий на следующем шаге была выше на 23,9 процентного пункта. За следующие десять действий навык менялся чаще на 38,6 пункта. Это наблюдение не доказывает, что именно урок вызвал все изменения: наставник подключался, учитывая ход работы. Но оно показывает, как совет влиял на процесс — приводил к новым проверкам и правкам.

Показателен пример с финансовыми отчётами. Наставник предложил искать несоответствия, сравнивая значения отчёта между собой. Ученик сначала написал общую проверку и получил четыре подозрительных показателя, хотя ошибка была одна. Затем он изучил результат, добавил финансовые зависимости и обратные вычисления. Новая проверка указала на нужную строку. В навык попали не только слова наставника, но и доработанная процедура с примерами условий, при которых ей можно доверять.

По мере улучшения результата исходной задачи наставник всё реже даёт новые советы, но ученик продолжает менять навык.

Когда фиксированное расписание обходится дороже

В начале обучения советы наставника часто нужны: ученик ещё не знает, что проверять. Позже потребность снижается. В опытах с периодическими проверками доля обзоров, после которых наставник давал новый совет, снизилась с 73% в первом раунде до 16,1% в третьем.

При этом работа над навыком не останавливалась. После успешной проверки исходной задачи пакет менялся в 98 из 99 следующих раундов. Ученик продолжал уточнять инструкции, даже когда очередной совет не требовался.

Для фиксированного расписания это невыгодно. К последнему раунду на обзоры уходило в 5,3 раза больше токенов, чем в начале: наставник каждый раз видел накопившийся контекст. При этом 85,8% затрат на обзоры в последнем раунде приходились на проверки без нового совета.

Обучение по нерешённым вопросам позволяет сократить лишние обращения. Наставник получает сведения о текущем вопросе, последних изменениях и недавней работе ученика. Если вопрос решён, проверку не нужно повторять. Если свежая модель снова ошибается на исходной задаче, связанный вопрос открывается заново.

Сравнение расходов на автора навыка, наставника и проверку результата при разных расписаниях обучения.

Что показывают результаты

На основном наборе задач обучение по нерешённым вопросам сохранило качество навыков и сократило затраты на наставника. Сравнение также повторили с другими парами моделей на общей части бенчмарка. Там новый способ использовал на 63,8% меньше токенов наставника для одной пары и на 77,4% меньше — для другой, сохранив оценку в пределах одного процентного пункта от периодического обучения.

Сокращение расходов на наставника не всегда означает, что вся работа обходится дешевле. В опыте с одной из моделей ученик стал выполнять больше действий, и общее число токенов выросло. Метод устойчиво сокращает расходы на внешнюю помощь, но общие затраты зависят от того, сколько дополнительной работы берёт на себя ученик.

Есть и другое ограничение: в центре эксперимента — одна исходная задача на каждое семейство. Дополнительные проверки подтверждают, что навык переносится на новые случаи в рамках того же семейства, но не показывают, насколько хорошо он сработает в другой области. Кроме того, исследование сравнивает готовые протоколы целиком и не отделяет вклад наставника от вклада расписания или журнала нерешённых вопросов.

Вывод

Переносимый навык получается из проверки процедуры в разных условиях. В описанном подходе эксперт помогает ученику выяснить, что ещё нужно проверить, но сам навык создаёт ученик. Так совет превращается в рабочее правило, проверенное на практике.

Помощь во время решения задачи может быть полезнее разбора после её завершения. Учёт нерешённых вопросов помогает тратить меньше ресурсов наставника, когда ученику уже не нужен совет на каждом шаге. Командам, которые создают ИИ-агентов, полезно хранить вместе с навыками не только инструкции, но и свидетельства того, когда они работают и какие вопросы остаются открытыми.