Agile Deliberation: как ИИ помогает людям определить размытые границы категорий

Почему субъективные категории трудно разметить

Модели машинного обучения учатся распознавать окружающий мир по примерам, размеченным людьми. Такой подход хорошо работает с понятиями, у которых есть ясные и общепринятые границы, например со знаком «стоп» или золотистым ретривером. Но в задачах вроде распознавания здоровой еды, отбора вдохновляющих произведений искусства или модерации контента границы категории могут меняться в зависимости от культуры, личных взглядов и рабочих правил.

К тому же люди редко начинают с полного и точного определения субъективного понятия. Обычно сначала у них есть общее представление, а исключения и нюансы обнаруживаются при встрече с конкретными примерами. Обычные процессы разметки этого не учитывают: они требуют от человека зафиксировать правила заранее, даже если его собственное понимание категории ещё меняется.

Agile Deliberation рассматривает создание такого классификатора как повторяющийся диалог. Система помогает пользователю уточнить собственное определение, прежде чем строить классификатор, и превращает человека из источника неизменных меток в участника совместной работы. Авторы также открыли исходный код и алгоритмы проекта на GitHub.

Исследователи проверяли систему в живых сессиях: статические бенчмарки не позволяют оценить субъективные понятия и отследить, как меняется представление человека о них. Такой формат помог наблюдать, как пользователь уточняет намерение при работе с системой. По выводам авторов, подход снизил усталость и тревожность: вместо ручной настройки промтов участники давали обратную связь по пограничным изображениям. В результате классификаторы стали стабильнее и превзошли стандартные базовые методы.

Два этапа уточнения понятий

Agile Deliberation состоит из двух стадий: определения структуры понятия и её последовательного уточнения. Вместе они превращают общее представление в точные указания для модели.

Источник: research.google

1. Определение структуры

На первом этапе система помогает разложить широкую категорию на подкатегории и явные исключения. Например, понятие «здоровая еда» можно разделить на положительные подкатегории «салаты», «зерновые боулы» и «нежирные белковые продукты». Отдельно пользователь указывает исключения — например, «обработанные продукты» или «сырые, не приготовленные ингредиенты». Так появляется исходная структура, на которую сможет опираться модель.

2. Уточнение на примерах

Далее система переходит от предварительного плана к проверке и доработке. В традиционном машинном обучении предполагается, что разметчик заранее знает все правила. Agile Deliberation вместо этого предлагает уточнять их вместе с системой.

Подход использует идею активного обучения — метода, который выбирает информативные данные, чтобы эффективнее обучать модель. Но здесь задача не просто в том, чтобы уменьшить неопределённость модели. Модели «зрение — язык» ищут изображения, которые по смыслу находятся на границе заданных пользователем категорий и могут выявить слабые места в определении.

Например, система может показать фруктовый смузи и попросить решить, относится ли он к здоровому питанию из-за фруктов или его следует исключить как обработанный продукт с высоким содержанием сахара. Такие случаи помогают человеку заметить неявные предположения, точнее сформулировать намерение и обновить правила. Отзывы пользователя поступают в автоматический цикл оптимизации промта, вслед за чем меняются границы классификации.

Как проходило исследование

В исследовании участвовали 18 человек. Каждый провёл с системой и альтернативными подходами сессию длительностью полтора часа; порядок вариантов случайным образом меняли, чтобы участники не получали преимущество за счёт обучения на предыдущих заданиях.

Исследователи выбрали две сложные субъективные области:

Agile Deliberation сравнивали с тремя подходами:

Результаты и нагрузка на участников

Участники, работавшие с Agile Deliberation, со временем размечали данные более согласованно. Созданные ими классификаторы превзошли все стандартные базовые методы. Самый заметный прирост авторы увидели на сложных субъективных изображениях, где обычные классификаторы чаще опираются на типовые предположения ИИ, а не на точные намерения пользователя.

Источник: research.google

Эксперты также отметили диагностическую пользу системы: показывая запутанные пограничные примеры, она помогала обнаруживать пробелы в первоначальных определениях — ситуации, о которых участники не задумывались до встречи с неоднозначными изображениями из реального мира.

Ручная настройка промтов требовала от участников значительных умственных усилий. Им было трудно заранее подбирать поисковые запросы, которые помогли бы найти пограничные случаи. Участники также тревожились, что исправление одного промта может ухудшить работу классификатора в других случаях, которые уже удалось настроить.

По сравнению с ручной настройкой промтов участники Agile Deliberation сообщали о статистически значимом снижении необходимых усилий и стресса, меньшей умственной нагрузке и более высокой оценке успешности и удобства работы. Система брала на себя вычисления, а пользователям оставалось просматривать отобранные пограничные изображения и давать отзывы обычным языком.

Источник: research.google

Участники, работавшие с Agile Deliberation, также сообщали о меньшем раздражении и умственном истощении. Все участники предпочли этот подход ручным методам.

Где может пригодиться подход

Agile Deliberation предлагает перейти от одностороннего обучения по человеческим меткам к совместному уточнению понятий человеком и ИИ. Авторы считают, что это может пригодиться командам по доверию и безопасности, создающим фильтры для модерации контента, кураторам цифровых коллекций и учёным, которым нужно классифицировать сложные визуальные данные.

В публикации также упоминаются методы активного обучения и техническая реализация алгоритмов определения структуры и группировки понятий; подробности доступны в научной работе и открытом коде на GitHub. Для знакомства с системой авторы предлагают интерактивный пример в Colab или Jupyter на теме здоровой еды. Его можно адаптировать для других областей, например выявления вводящих в заблуждение кликбейтов или отбора произведений искусства по личным критериям.

Работу подготовили научный сотрудник Otilia Stretcu и студент-исследователь Leijie Wang из Google Research. Среди участников проекта также Wei Qiao, Thomas Denby, Krishnamurthy Viswanathan, Enming Luo, Chun-Ta Lu, Tushar Dogra, Ranjay Krishna и Ariel Fuxman. Исследование стало результатом сотрудничества Google Research и Google Ads.

По оценке Dataist, подход важен для задач, где правила нельзя полностью определить до начала разметки: система помогает выявлять разногласия на конкретных примерах и превращать их в уточнённые критерии. Однако результаты описаны на двух предметных областях и в 18 сессиях, поэтому публикация не показывает, насколько хорошо метод перенесётся на другие задачи.