OpenMobile-2 доказал: открытые ИИ-агенты для смартфонов могут соперничать с закрытыми моделями

Одного увеличения объёма данных недостаточно, чтобы улучшить работу ИИ-агентов со смартфонами. При том же объёме обучения важнее, сколько разных приложений агент успел изучить.

Агенты, которые самостоятельно работают с приложениями, учатся главным образом на практике. Но нужные для обучения данные в основном находятся у крупных компаний. Поэтому открытые модели отстают, пишут исследователи из Нанкинского университета, компании SenseTime и нескольких других университетов.

OpenMobile-2 должен помочь сократить этот разрыв. Команда выпускает две модели агентов: на базе Qwen3.5 с 9 миллиардами параметров и Qwen3.6 с 27 миллиардами параметров. Вместе с ними исследователи публикуют среду обучения, данные и инструкции для воспроизведения эксперимента. По словам авторов, модель входит в число лидеров среди современных агентов для смартфонов.

Зачем воссоздавать приложения

Обучать агента на реальных приложениях сложно: нужны учётные записи, настоящие покупки обходятся дорого, а состояние приложений нельзя сбросить. Поэтому исследователи воссоздали 35 популярных в основном в Китае приложений, среди которых Taobao, JD, DiDi и Meituan, а также Slack и Google Drive, которыми пользуются по всему миру. Вместе с уже существующими симуляциями и приложениями в эмуляторе Android эта среда охватывает более 110 приложений.

Проверяющие сравнивали воссозданные приложения с оригиналами и дорабатывали их, пока рабочие сценарии и интерфейсы не совпадали. Заказы, бюджеты и планы поездок сохраняются между сеансами, а данные можно передавать между приложениями через буфер обмена. Каждая симуляция автоматически возвращается к исходному состоянию. Агент видит только снимки экрана и не имеет доступа к внутренним данным приложений — так имитируется взаимодействие обычного пользователя.

В гибридном режиме агент сочетает обычные действия на экране с функциями, которые приложение предоставляет напрямую в качестве инструментов

Для каждого пересобранного приложения исследователи заранее определяют, какое действие изменяет какое состояние, а затем автоматически проверяют результат

Источник: the-decoder.com

Источник: the-decoder.com

На основе этой среды команда создала около 11 600 примеров рабочих сценариев и более 2 000 практических заданий с автоматической проверкой результата. Примеры генерировала Gemini 3.1 Pro от Google, использованная как модель-учитель. Получается, OpenMobile-2 в некоторой степени учится на закрытой системе.

Результаты на реальных смартфонах

Обе модели улучшили результаты на известных бенчмарках. В AndroidWorld старшая модель поднялась с 67,1 до 79,9 балла, а младшая — с 54,3 до 74. Предыдущая версия, OpenMobile-1, набрала в том же тесте 64,7 балла. В более сложном бенчмарке MobileWorld, где задания длиннее и охватывают несколько приложений, результат старшей модели вырос с 35,9 до 50,4 балла.

OpenMobile-2-27B набирает 79,9 балла в AndroidWorld и уступает только Gemini 3.1 Pro в SPA-Bench на реальных устройствах

Источник: the-decoder.com

Самый заметный рост исследователи получили на реальных устройствах Android: результат старшей модели в SPA-Bench увеличился с 31,9 до 59,6 балла. По словам команды, это лучший показатель среди открытых моделей.

Большее разнообразие приложений в обучающей выборке повышает эффективность на незнакомых приложениях. После гибридного обучения модели чаще решают задачи с помощью инструментов и тратят на это меньше шагов

Источник: the-decoder.com

Разнообразие обучающей среды оказалось важнее общего объёма данных. Исследователи оставили объём данных неизменным и увеличили только число приложений, с которыми практиковался агент. Доля успешных задач в незнакомых приложениях выросла с 60,7% до 67,5%. При одинаковом бюджете данных разнообразие приложений оказалось полезнее дополнительных примеров из нескольких приложений.

Обучение с подкреплением дало лишь небольшой прирост, в основном в средах, похожих на обучающие. В AndroidWorld старшая модель после такого обучения даже показала немного худший результат: 79,9 балла вместо 80,8.

Прямые команды помогают обходить меню

В экспериментальной части исследования агенты не ограничиваются касаниями и свайпами. Более 50 симулированных приложений поддерживают прямые команды, например «добавить в корзину»: с ними агенту не нужно проходить через меню. Он может свободно переключаться между командами и обычной навигацией в зависимости от доступных возможностей.

Без специального обучения это почти не помогает: модели обычно не замечают быстрые команды. После обучения агенты начинают использовать их эффективно — решают до 10,3 процентного пункта больше задач и делают примерно на пять шагов меньше. По словам исследователей, этот навык также переносится на инструменты, с которыми модели не сталкивались во время обучения.

На позднем этапе обучения с подкреплением агент получал дополнительное поощрение, если за попытку хотя бы раз использовал прямую команду. При этом награда всё равно зависела от того, выполнено ли задание. Если агент заявлял об успехе, которого на самом деле не было, его штрафовали. Пока такие интерфейсы есть только в симулированных приложениях; сами исследователи называют этот подход экспериментальным.

Часть результатов получена на собственном бенчмарке команды из 215 заданий. Почти половина из них охватывает несколько приложений. Выполнение проверяет не языковая модель, а программа: она сравнивает сохранённые данные приложения до и после каждой попытки. Авторы также проверили, пересекаются ли обучающие и тестовые задания, и обнаружили лишь небольшое сходство.

В исследовании 2025 года Microsoft Research уже отмечала, что агенты, работающие через API, надёжнее, а агенты с графическим интерфейсом — гибче. Мобильные приложения приводились как типичный пример среды, где внешних интерфейсов нет. Oppo выбрала другой путь: её открытый агент X-OmniClaw работает на реальных устройствах и повторяет ранее показанные маршруты в приложениях вроде Taobao и Meituan через диплинки, вместо того чтобы снова переходить по меню. Среди закрытых моделей Google встроила управление смартфоном непосредственно в Gemini 3.5 Flash.