Опыт человека помогает ИИ-агенту справляться с незнакомыми программами

Навык для ИИ-агента можно записать по-человечески

Попросите агента забронировать столик, выбрать запасные рестораны и сохранить лучшие в избранное. В короткой демке он может справиться. Но в настоящем интерфейсе задача состоит из нескольких зависимых частей: нужно не забыть параметры брони, осмотреть альтернативы, отметить нужные рестораны и только потом подтвердить заказ. Успешный клик ещё не значит, что выполнена вся задача.

Статья посвящена тому, как превращать человеческий опыт работы с графическими интерфейсами в инструкции, которыми смогут пользоваться ИИ-агенты. Авторы предлагают Work2Skill: человек выполняет задачу, система записывает его действия и то, что происходило на экране, а другой агент изучает эту запись и создаёт повторно используемый навык.

Ключевая идея проста: сохранить правила, которые помогают выполнить задачу. Например, какой ресторан считать подходящей запасной опцией, в каком порядке выполнять шаги и как убедиться, что изменения сохранились.

Work2Skill собирает опыт человека, упорядочивает его и превращает в навыки для ИИ-агентов.

Почему агентам мало записи действий

Координаты показывают, куда человек нажал, но не объясняют, что это была кнопка «Календарь» или почему её выбрали. Запись экрана может показать результат, но пропустить важный промежуточный шаг. А длинное видео трудно целиком загрузить в контекст модели.

Work2Skill решает эти проблемы через три связанных компонента. WorkRecorder записывает экран, действия мыши и клавиатуры, а при наличии — данные об элементах интерфейса: например, название и роль кнопки. WorkDemo-350 хранит отобранные записи. Затем агент изучает нужные фрагменты и пишет навык.

Действия человека связываются с кадрами экрана и доступными сведениями об элементах интерфейса, а полученные навыки проверяются при выполнении задач.

Записи собирают на общей временной шкале. Клик можно сопоставить с кадром экрана и доступными сведениями о цели. Если результат нажатия неясен, агент проверяет следующие кадры или просматривает нужный отрезок видео. Он сам решает, какие материалы открыть, и может вернуться к записи после черновика навыка.

Это отличается от жёсткого порядка вроде «сначала прочитай все журналы действий, потом посмотри видео, затем напиши инструкцию». Пока агент формулирует навык, у него могут появиться вопросы. Например, он заметит, что инструкция требует перепроверить сохранение, но в записи пока не нашёл подтверждения. Тогда он ищет нужный момент.

Итог — файл с пошаговыми правилами для конкретного типа задач. В нём должны быть описаны условия выбора, зависимости между шагами и видимые признаки завершения. Сама запись при выполнении задачи агенту уже не нужна.

Данные и проверка

Авторы собрали WorkDemo-350 — 350 записей успешной работы за компьютером. В набор вошли 64 задачи из MyPCBench и 286 задач из OSWorld-Verified. Записи проверяли: исключали неудачные или неполные выполнения. В среднем одна задача включала около 32–35 действий и примерно 24 изображения. Общая длительность видео — около 8,5 часа.

Для сравнения использовали четыре модели: GPT-5.5, Opus-4.8 и две версии Qwen3.5. Каждой давали одинаковую задачу и интерфейс управления, меняя только инструкции. Сравнивали работу без навыка, с инструкциями из двух существующих методов и с навыками Work2Skill. Оценивали средний балл от 0 до 100 и долю задач, выполненных без ошибок.

На MyPCBench Work2Skill улучшил средний балл относительно выполнения без навыка на 4,67–10,54 пункта. Доля полностью решённых задач выросла на 6,25–25 процентных пунктов. На выбранной части OSWorld-Verified прирост составил 3,11–7,50 пункта, а доля полных успехов выросла на 1,40–7,69 процентного пункта.

По среднему баллу и доле полных успехов Work2Skill обошёл сравниваемые методы для всех четырёх моделей на обоих наборах. Но экономия шагов зависела от модели: двум версиям Qwen и Opus навык помогал действовать короче, а GPT-5.5 в некоторых задачах делал больше шагов. На создание навыка тоже уходило разное число токенов. Значит, более полезная инструкция не обязательно обходится дешевле.

Навыки Work2Skill повышают средний балл и долю полностью выполненных задач для разных моделей на MyPCBench.

Навык должен пережить смену задачи

Проверка только на той же задаче, по которой создан навык, мало что говорит о его повторном использовании. Поэтому авторы изменили условия 64 задач MyPCBench: заменили объекты, даты, числа или требования, но оставили приложение тем же. Например, для бронирования менялись город назначения и предпочтения по месту в самолёте.

Старый навык давали агенту без дополнительного обучения и проверки записи. Средний балл вырос относительно работы без навыка на 3,93–8,64 пункта, а доля полностью решённых задач — на 6,25–9,38 процентного пункта. В среднем число шагов также уменьшилось.

Это говорит о том, что инструкция может передавать правило, а не только конкретные значения из записи. Агенту полезнее знать, как выбирать подходящий вариант, чем запоминать название варианта, выбранного человеком.

Авторы также проверили перенос между моделями: одну модель просили создать навык, а другую — выполнить задачу. Навыки помогали обеим моделям по сравнению с выполнением без инструкции. Однако более слабая модель-исполнитель всё равно заметно уступала более сильной. Хорошое описание процедуры не устраняет разницу в способностях самих моделей.

Когда важны промежуточные шаги

Пример с бронированием показывает, зачем навыку нужны зависимости и проверки. Задача просила забронировать столик в Cotogna для десяти человек, найти три запасных ресторана и добавить в избранное два лучших. Подтверждать основную бронь следовало после работы с запасными вариантами.

Два метода-предшественника помогли выполнить основную бронь, но не закрыли дополнительные требования: не проверили все рестораны, не сохранили избранное и не убедились, что бронь пережила обновление страницы. Каждый получил 55 баллов из 100. Work2Skill справился со всеми восемью пунктами проверки.

В задаче с бронированием два сравниваемых метода набрали 55 из 100 баллов, а Work2Skill выполнил все восемь требований.

В созданном навыке порядок действий расписан явно: сохранить дату и число гостей для поиска альтернатив, не включать основное место в список запасных, отметить нужные рестораны и лишь потом подтвердить бронь. В конце нужно проверить саму бронь и избранное после обновления страницы.

Такие указания помогают удержать всю задачу целиком. Агент может пройти основные шаги и всё же забыть второстепенное требование, особенно если приходится переключаться между экранами. Навык напоминает не только, что нажать, но и что ещё должно быть выполнено до завершения.

Что остаётся проверить

Дополнительные эксперименты показывают, что сведения об элементах интерфейса, изображения и журналы действий в целом полезны. Когда их убирали, качество выполнения снижалось. А вариант промта с заранее заданной последовательностью изучения материалов уступил более свободному подходу Work2Skill: результаты оказались ниже, хотя расход токенов на создание навыков вырос.

При этом набор содержит только отобранные успешные записи. Он показывает, как извлекать правила из удачно выполненных задач, но не даёт полного ответа на вопрос, насколько надёжно система учится на ошибках, неполных записях и неоднозначных действиях. Доступность сведений об интерфейсе также зависит от приложения: названия и роли элементов можно получить не всегда. Кроме того, проверка структуры файла навыка не гарантирует, что его инструкции верны.

Итог практический: человеческий опыт полезно превращать в проверяемые процедуры, где указаны порядок действий, правила выбора и признаки успешного завершения. Work2Skill показывает, что такие навыки могут помогать разным моделям и переноситься на изменённые задачи в том же приложении. Следующий вопрос — насколько хорошо этот подход справится с незнакомыми программами и записями, в которых сам человек ошибается.