182 приложения помогли ИИ-агентам решать незнакомые задачи

ИИ-агентам не хватает не моделей, а программ

ИИ-агент может открыть таблицу, найти нужную ячейку, изменить значение и сохранить файл. На короткой демке это выглядит убедительно. Но стоит добавить несколько зависимых действий, другой интерфейс и состояние, которое нужно учитывать, — и результат становится нестабильным.

Причина проста: агентам для работы за компьютером нужны большие наборы примеров. Они должны видеть разные программы, интерфейсы и многошаговые задачи. Существующие среды плохо подходят для этого. Настоящие приложения дорого подключать и поддерживать. Браузерные среды проще масштабировать, но они часто ограничиваются похожими страницами и неглубокими сценариями.

Статья о SoftwareGym предлагает практический выход: автоматически создавать небольшие настольные приложения, проверять их через графический интерфейс и использовать полученные действия для обучения агентов.

Авторы сгенерировали 182 приложения в 12 категориях. Средняя доля успешно пройденных задач составила 91,5%. Обученная на этих данных модель подняла показатель Pass@3 на внешнем бенчмарке OSWorld с 41,39% до 56,97%, хотя в обучении не использовались приложения и задачи из OSWorld.

Примеры приложений SoftwareGym: редакторы изображений, видео, таблиц и кода с многошаговыми сценариями работы.

Почему готовых приложений недостаточно

Обучать агента можно на действиях в существующих программах: браузере, редакторе изображений, почтовом клиенте или электронной таблице. Такой подход даёт реалистичные состояния и настоящие рабочие процессы. Но у него есть два ограничения.

Во-первых, набор программ ограничен. Чтобы добавить новое приложение, его нужно установить, настроить, изолировать, снабдить задачами и системой проверки. Во-вторых, агент может запомнить конкретные расположения кнопок и последовательности действий. Тогда он учится работать с одним редактором, но теряется в другом интерфейсе.

Браузерные среды решают часть проблемы. Их легче запускать и возвращать в исходное состояние. Но у них есть общий фундамент: браузер, страницы и элементы разметки. Поэтому интерфейсы быстро становятся похожими, а сложные рабочие процессы трудно воспроизводить.

SoftwareGym пытается одновременно получить:

🟠 разнообразие интерфейсов — разные схемы навигации, панели, меню и способы взаимодействия;

🟠 рабочую функциональность — приложение должно действительно сохранять файлы, менять состояние и отвечать на действия;

🟠 масштабируемость — новые среды должны появляться без ручной разработки каждой программы.

Это важно для обобщения. Агенту нужно учиться не запоминать путь «нажми кнопку в правом верхнем углу», а понимать задачу: найти нужный объект, изменить его, проверить результат и оставить приложение в требуемом состоянии.

Что такое SoftwareGym

Пайплайн состоит из трёх связанных частей: проектирование, реализация и проверка.

На первом шаге задаётся тип приложения. Например, редактор изображений, проигрыватель музыки, почтовый клиент или редактор кода. Затем система расширяет короткое описание до подробной спецификации.

В ней фиксируются:

🟣 объекты программы — файлы, письма, таблицы, проекты или медиатреки;

🟣 операции — создание, открытие, поиск, редактирование, сортировка, экспорт и сохранение;

🟣 полные рабочие процессы — последовательности действий с зависимостями между шагами;

🟣 контрольные точки — что должно измениться в состоянии программы и что пользователь должен увидеть.

После этого SoftwareGym создаёт несколько вариантов интерфейса для одной и той же функциональности. Они должны отличаться не только цветами и шрифтами. Система меняет навигацию, расположение панелей, структуру экранов и место основных действий.

Чтобы варианты не превратились в десять копий одной программы, каждый интерфейс описывается как дерево компонентов. В него входят окна, области, панели и элементы управления. Затем система сравнивает деревья. Слишком похожие варианты отбрасываются и создаются заново.

На втором шаге другой агент превращает описание в запускаемое приложение на основе Avalonia. Он реализует не только внешний вид, но и связи между командами, состояние программы, сохранение данных и обратную связь для пользователя.

На третьем шаге приложение проверяется через мышь и клавиатуру. Проверка исходного кода сама по себе не показывает, сможет ли агент открыть нужное окно, найти элемент, выполнить действие и увидеть правильный результат.

Пайплайн SoftwareGym: проектирование приложения, реализация, проверка через графический интерфейс и исправление найденных ошибок.

Если проверка обнаруживает ошибку, отчёт возвращается в реализацию. Приложение исправляется, запускается снова и проходит тот же набор тестов. Всего предусмотрено до трёх версий.

Результат виден в цифрах:

🟣 первая версия приложений в среднем проходила 54,9% GUI-задач;

🟣 после первого исправления показатель вырастал до 81,1%;

🟣 после второго — до 91,5%;

🟣 одна программа требовала в среднем около 237 минут, 1 718 вызовов моделей и примерно 70,76 доллара ресурсов.

Цена заметная, но она относится к созданию целого приложения с проверкой. Для массовой генерации среды это дешевле ручной разработки и интеграции множества настоящих программ.

Как из приложений получают задачи

SoftwareGym не просит модель придумывать задачи наугад. Сначала система собирает список функций, которые были подтверждены успешными GUI-тестами. Непроверенные или сломанные возможности в набор задач не попадают.

Это защищает обучение от простой ошибки: в описании заявлена функция, но в работающей программе она недоступна.

Затем задачи распределяются по сложности:

🟠 простые содержат одну основную цель и мало зависимостей;

🟠 обычные объединяют несколько связанных операций;

🟠 сложные требуют многошагового изменения состояния, когда каждый шаг подготавливает следующий.

Есть два начальных режима. В первом пользователь даёт готовый файл. Во втором приложение открывается в пустом состоянии. В задания также добавляют отвлекающие объекты и элементы, которые нельзя менять. Поэтому агент должен учитывать текущее состояние программы, а не механически повторять знакомую последовательность.

Например, задача может звучать так: заменить значение в ячейке, сохранить таблицу и оставить открытой панель поиска. Успех определяется не тем, что агент нажал нужные кнопки, а итоговым состоянием: значение изменилось, файл сохранён, панель осталась на экране.

Создание задач из проверенных функций: система связывает способности приложения, уровень сложности, начальное состояние и ожидаемый результат.

Для каждой задачи SoftwareGym сохраняет начальное состояние и программный проверяющий модуль. Перед каждой попыткой среда восстанавливается. После выполнения проверяется итог: создан ли файл, изменились ли нужные объекты, остались ли защищённые элементы нетронутыми.

Такой подход делает данные пригодными для обучения и оценки. В них есть не только последовательность кликов, но и связь между намерением пользователя, действиями и результатом.

Что показало обучение

Авторы собрали траектории работы агентов в созданных приложениях и дообучили мультимодальную модель Qwen3.5-9B. Для каждой траектории отдельно оценивались два свойства:

🟣 результат — выполнена ли просьба пользователя;

🟣 процесс — действовал ли агент последовательно, безопасно и без лишних повторов.

В набор попадали только траектории с достаточно высокой оценкой по обоим критериям.

На OSWorld модель, обученная только на данных SoftwareGym, подняла Pass@3 с 41,39% до 56,97%. Pass@3 означает, что задача считается решённой, если хотя бы одна из трёх независимых попыток успешна.

Рост наблюдался во всех восьми проверенных областях OSWorld. Важен сам факт переноса: модель не видела в обучении приложения OSWorld, но стала лучше работать с ними.

На собственном бенчмарке SoftwareGym-Bench модель достигла 40% против 25,8% у исходной Qwen3.5-9B. Бенчмарк включает 120 задач по 12 категориям.

При этом передовые закрытые модели остаются сильнее. Например, GPT-5.4 получил 74,2%, а GPT-5.5 — 73,3% на SoftwareGym-Bench. Поэтому SoftwareGym не превращает небольшую модель в универсального агента. Он показывает другое: качественно проверенные синтетические среды дают переносимые навыки даже компактной модели.

Интересен и дополнительный эксперимент. Обучение на смеси данных SoftwareGym и OSWorld подняло результат на SoftwareGym-Bench до 47,5%, сохранив на OSWorld показатель 58,61%. Значит, синтетические и настоящие приложения дополняют друг друга.

Что действительно работает

Авторы отдельно проверили вклад основных компонентов пайплайна.

Если убрать строгий контроль структуры интерфейсов, разнообразие резко падает. Средняя оценка различий между макетами снижается с 83,6 до 4,9 по шкале от 0 до 100. Независимые генерации часто сходятся к похожим экранам.

Если исправлять приложения только по исходному коду, качество почти не растёт: с 50,4% оно доходит до 48,8%. Когда разработчик получает отчёты о реальных действиях через интерфейс, показатель поднимается до 83,1%.

Поэтому SoftwareGym строится вокруг замкнутого цикла:

🟠 приложение создаётся по спецификации;

🟠 его проверяют действиями мыши и клавиатуры;

🟠 ошибки связываются с конкретными шагами и контрольными точками;

🟠 реализация исправляется;

🟠 тесты запускаются снова.

Проверка интерфейса здесь работает как источник наблюдений о поведении программы. Без неё модель может считать функцию реализованной только потому, что нужный обработчик есть в коде.

Ограничения подхода

У SoftwareGym есть несколько заметных ограничений.

Во-первых, созданные программы всё равно остаются синтетическими. Они могут выглядеть и работать достаточно правдоподобно для обучения, но не полностью отражают хаос настоящих приложений: неожиданные окна, сбои, длинную историю изменений и несовместимые форматы файлов.

Во-вторых, итоговая надёжность измеряется на задачах, которые сама система умеет формализовать и проверять. Это удобно для воспроизводимости, но может не охватывать все виды ошибок, встречающиеся в реальной работе.

В-третьих, стоимость одного приложения в десятки долларов и несколько часов вычислений выглядит приемлемо для исследовательского набора. При резком расширении числа категорий и функций расходы всё равно будут расти.

Наконец, результат Pass@3 зависит от числа попыток. Один успешный запуск из трёх полезен для оценки вероятности успеха, но не означает, что агент стабильно выполняет задачу с первого раза.

Вывод

SoftwareGym переносит обучение агентов за компьютером из мира редких ручных сред в режим автоматической сборки приложений. Система создаёт интерфейс, реализует функции, проверяет их реальными действиями и использует только подтверждённые возможности для генерации задач.

Синтетические приложения могут обучать переносимому взаимодействию с графическим интерфейсом, а не только запоминанию конкретной программы. Это видно по росту на OSWorld, где модель не встречала исходные приложения во время обучения.

Для будущих ИИ-агентов важны три свойства среды:

🟣 разнообразные интерфейсы и рабочие процессы;

🟣 проверяемое итоговое состояние;

🟣 обратная связь от реального выполнения действий.

SoftwareGym показывает, как объединить их в один масштабируемый пайплайн. Настоящие приложения по-прежнему нужны. Но теперь они могут быть частью более широкой системы, где новые среды создаются автоматически, проверяются до публикации и помогают агентам переносить навыки между разными программами.