Adobe проверяет, смогут ли ИИ-агенты пользоваться инструментами редактирования как профессионалы в Photoshop

ИИ-агенты для редактирования изображений обычно разбивают сложный запрос на шаги и повторяют неудачные действия теми же инструментами. Затем отдельная модель оценивает результат на глаз.

Исследователи Adobe Research и Калифорнийского университета в Сан-Диего представили EditAgent — систему, которая работает ближе к профессионалу в Photoshop. Она подбирает инструмент под задачу и сравнивает результат с оригиналом по числовым показателям.

Почему универсальный редактор ошибается

В испытании на 600 правках пять специалистов вслепую оценивали результаты. Универсальный редактор Flux-2-Klein-9B в 42,7% случаев не выдавал пригодное изображение. Специализированные инструменты исправляли примерно две трети таких ошибок — особенно при повышении резкости, повороте и масштабировании. Повторные попытки с тем же редактором почти не помогали.

Исследователи сравнили два подхода: улучшать изображение шаг за шагом или сразу создавать несколько вариантов. При последовательной доработке накапливаются небольшие ошибки: каждый новый этап опирается на уже изменённое изображение. В 78,5% случаев, когда специалисты выбирали один из вариантов, они предпочитали параллельно созданные версии исходника. При этом агенту требовалось вдвое меньше проходов оценки. EditAgent построили с учётом этих двух результатов.

Вместо того чтобы снова и снова пробовать один и тот же редактор, EditAgent параллельно создаёт варианты разными способами, а неизменённая языковая модель сравнивает их все одновременно

Источник: the-decoder.com

Числа помогают языковой модели выбирать результат

EditAgent разбивает запрос на шаги и на каждом этапе сравнивает универсальный редактор с подходящими специализированными инструментами. Затем стандартная языковая модель за один проход оценивает все варианты.

Для каждого варианта она получает запись проверки: увеличенный фрагмент изменённой области, карту изменений и измеренные показатели яркости и цвета. Например, фотографию нужно было слегка осветлить. Числа показали, что универсальный редактор пересветил изображение и сделал цвета теплее, а специализированный инструмент уложился в заданные рамки.

EditAgent разбивает запрос на зависимые шаги и создаёт несколько вариантов для каждого шага. Языковая модель выбирает лучший на основе данных проверки

Источник: the-decoder.com

Исследователи проверили этот подход на своём бенчмарке из 600 правок. Модель-судья выбирала лучший вариант из нескольких, а команда считала, как часто её выбор совпадал с оценкой специалистов, признавших изображение пригодным. Для сравнения использовали модели вроде EditScore, дообученные на человеческих оценках правок.

Без записи проверки ни одна из семи языковых моделей не сравнялась с лучшей моделью, дообученной на оценках людей. С такой записью все семь превзошли каждую из дообученных моделей. Qwen3.8-27B выбирала пригодный результат в 81,3% случаев, а EditScore-72B — в 74,8%. По мнению исследователей, на выбор модели-судьи может сильнее влиять доступная ей информация, чем способ её обучения.

Ошибки, которые языковая модель не замечает, просто глядя на изображение целиком, выявляются при увеличении фрагментов и анализе измеряемых характеристик изображения

Источник: the-decoder.com

После каждого раунда EditAgent проверяет, не отменили ли последующие правки предыдущие. В примере из статьи просьба «впустить больше дневного света» случайно сделала прозрачным окно, которое до этого было матовым. Агент обнаружил конфликт и исправил его.

EditAgent улучшил редакторы с открытыми весами Qwen-Image-Edit-2511 и Flux-2-Klein-9B на трёх бенчмарках и обошёл семь других ИИ-агентов. На бенчмарке EdiVal вариант Qwen после третьего раунда редактирования немного превзошёл коммерческие модели Seedream 4.0 и GPT-Image-1.5. При этом системе нужно примерно в десять раз больше вычислений, чем одиночному редактору, а её результаты зависят от подключённых инструментов.

При наличии данных проверки каждая протестированная стандартная языковая модель превосходит самую сильную дообученную модель оценки EditScore-72B, результат которой составляет 74,8 процента

Источник: the-decoder.com

Проверка после каждого этапа гарантирует, что последующие правки незаметно не отменят предыдущие изменения

Источник: the-decoder.com

Агент создаёт данные для обучения редакторов

Исследователи используют EditAgent и как источник обучающих данных. Поскольку система сохраняет только проверенные результаты, она создала около 26 000 примеров для обучения. Редакторы, дообученные на этих данных, показали лучшие результаты на всех трёх бенчмарках. А обучение на данных, напрямую созданных FLUX, напротив, ухудшило результаты FLUX. Со временем такие улучшения могут компенсировать высокие вычислительные затраты EditAgent.

В июне Adobe добавила ИИ-агентов в Photoshop, Premiere и другие приложения Creative Cloud, начав с публичной бета-версии. Пользователь описывает желаемый результат, а агент выполняет отдельные шаги. Умение выбирать подходящие инструменты и проверять собственную работу напрямую важно для продуктов Adobe.

Позже Black Forest Labs заменила универсальную модель, которую проверяли в статье. Новая Flux 3 Image Klein содержит 5,6 млрд параметров — меньше, чем Flux 2 Klein, — но, по внутренним тестам Black Forest Labs, превосходит все остальные модели с открытыми весами и даже коммерческую Flux 2 Pro.