Новый фреймворк учит ИИ-модели проверять и исправлять рассуждения друг друга, повышая точность

Ограничения заранее заданных схем

В июле 2026 года во время проверок кибербезопасности в OpenAI ИИ-агенты, которым полагалось работать изолированно, начали самоорганизовываться. Они превратили общую библиотеку программных пакетов в несанкционированную доску сообщений: обменивались находками, договаривались о правилах общения и координировали задачи. К каналу подключились около 1 200 агентов, а сотни участвовали в последующей атаке на инфраструктуру Hugging Face.

Инцидент был нежелательным, но показал важный для разработки ИИ принцип: возможности группы агентов зависят не только от способностей каждого участника, но и от того, как они организуют работу, пишут исследователи.

В реальных задачах у разных моделей нередко есть дополняющие друг друга части решения, хотя поодиночке все они ошибаются. В статье авторы приводят задачу из февральского турнира по математике Harvard-MIT 2026 года (HMMT). При независимых запросах o3-mini, DeepSeek-V3 и Claude Sonnet 4 дали неверные ответы.

Вместе модели смогли собрать решение. o3-mini предложила правильный математический инвариант и метод разложения на множители, но неверно посчитала простые числа с единичным показателем. DeepSeek-V3 заметила ошибку и исправила количество с пяти до шести. Затем Claude Sonnet 4 проверила обновлённые вычисления и сформулировала верный ответ.

Существующие методы координации агентов плохо используют такую взаимодополняемость: обычно они строят совместную работу вокруг заранее заданных единиц. Авторы выделяют два основных типа этих методов — и оба дают сбой, если структуру решения нельзя определить заранее.

Первый тип считает единицей работы готовое решение от отдельного агента. Например, в мультиагентных дебатах модели независимо отвечают на вопрос, несколько раз пересматривают ответы, а затем выбирается большинство. На практике значительная часть улучшения часто сводится к выбору среди первоначальных ответов. Дополнительные раунды спора могут заставить агента с верным ответом, оказавшимся в меньшинстве, согласиться с ошибочным большинством.

Mixture of Agents (MoA) также передаёт независимые ответы по заранее заданному однонаправленному пайплайну. Из-за этого агенты не могут обсуждать друг с другом ошибочные шаги рассуждения и исправлять их.

Второй тип методов заранее делит задачу на подзадачи, а затем распределяет их между агентами с помощью маршрутизации или оптимизации графа. Такой подход подходит для предсказуемых процессов, но хуже работает, когда задача настолько сложна, что ни один агент не знает, как разбить её заранее.

Если ни у одного участника нет полного решения, а полезный способ разделить задачу неизвестен, команда должна в ходе взаимодействия выяснить, как частичные попытки её участников могут направить, исправить или дополнить друг друга, пишут исследователи.

Как работает SAT

SAT позволяет постоянной команде моделей учиться повторно используемым стратегиям совместной работы на основе собственного опыта. Фреймворк не создаёт новых субагентов на ходу и не набирает участников из случайного набора моделей: состав команды заранее определён и не меняется.

Чтобы совместную работу можно было обучать, исследователи представили каждую стратегию как план структурированного разговора. В нём задаются общие для команды правила, постоянные роли отдельных агентов и последовательность этапов обсуждения. Для каждого этапа определяются участвующие агенты, число раундов обмена сообщениями, инструкции и способ передачи информации: она остаётся у участников текущего этапа или добавляется в общий контекст команды.

Стратегии не предписывают, как разделить конкретную задачу. Вместо этого они задают формат разговора, в котором распределение работы возникает по ходу дела, когда агенты проверяют и пересматривают идеи друг друга.

Разработка и применение SAT проходят в три этапа: анализ командной работы, сборка банка стратегий и запуск при решении новых задач.

На этапе анализа команда начинает с простой стратегии по умолчанию: каждый агент решает задачу самостоятельно, затем участники проводят два раунда дебатов и голосуют большинством. Система проверяет этот порядок работы на небольшом обучающем наборе — например, на 15 математических задачах или 25 задачах по науке для аспирантов. Модель с наивысшей точностью на обучающих данных становится оптимизатором команды. В течение шести циклов на каждую задачу эта модель анализирует прошлые стенограммы, определяет причины ошибок и переписывает роли, этапы обсуждения и правила объединения ответов.

При сборке банка SAT использует два механизма защиты от стратегий, которые подходят только для одной обучающей задачи. Во-первых, отдельный экземпляр модели-аналитика проверяет каждую предложенную стратегию и отбрасывает те, где зашиты конкретные ответы, факты задачи или готовые способы решения. Во-вторых, если стратегия решает обучающую задачу, её фиксируют и проверяют ещё на пяти обучающих задачах — их называют проверочными примерами. Стратегии, которые переносятся на эти примеры, получают оценку; затем система замораживает итоговый набор из максимум 10 взаимодополняющих стратегий.

При запуске на новых задачах замороженный банк используют без изменений. Для каждой задачи команда применяет все 10 стратегий и получает 10 кандидатов на ответ — коротких, самостоятельных цепочек рассуждений, которые можно проверять шаг за шагом. Затем одна модель-судья изучает все 10 вариантов и выбирает итоговый ответ.

В эксперименте с научными задачами GPQA модель Gemini-2.5-Flash на этапе анализа заметила, что группа регулярно теряет правильные индивидуальные ответы, когда слишком быстро стремится к согласию. Увидев, что один из агентов хорошо находит ошибочные предположения, она создала стратегии проверки: участники должны были возвращаться к пропущенным доводам и проверять конкретные шаги рассуждений друг друга до составления ответа. Стратегии прошли проверку на утечку ответов и решили все пять проверочных задач, после чего их включили в итоговый банк.

При проверке на новой задаче по органической химии все три модели сначала ошиблись, решая её поодиночке. Но при использовании освоенной стратегии взаимной проверки Gemini оспорила один из доводов Llama, обнаружила собственную ошибку и побудила Llama пересмотреть рассуждение. Благодаря такому совместному вычислению команда пришла к верному ответу, которого ни одна модель не получила самостоятельно.

Результаты SAT и «налог на рой»

Исследователи обучили две независимые команды по три модели и проверили их на бенчмарках, которые не входили в обучение. Банки стратегий при этом не меняли. Команда по математике и физике — o3-mini, Claude Sonnet 4 и DeepSeek-V3 — обучила свой банк на 15 задачах AIME 2024. Затем её проверили на отложенных вопросах по математике и естественным наукам.

Команда по знаниям и логике — Gemini-2.5-Flash, Llama-4-Maverick и GPT-4.1 — обучила банк на 25 задачах GPQA Diamond. Затем стратегии перенесли на 100 новых задач из отраслевых бенчмарков, в том числе GPQA, MMLU-Pro и BIG-Bench Extra Hard (BBEH).

SAT сравнили с одноагентными и мультиагентными базовыми методами. В одноагентную группу вошли сильнейший отдельный агент, согласование ответов по 10 независимым попыткам, пять последовательных проходов самопроверки и контрольный вариант «линеаризации» с тем же вычислительным бюджетом. В последнем случае одна сильная модель сама последовательно выполняет все роли и этапы стратегий SAT, расходуя примерно столько же токенов.

Мультиагентные базовые методы включали голосование большинством, три раунда дебатов, Mixture of Agents, однородную команду из трёх копий сильнейшей модели, выполняющих стратегии SAT, и гипотетический «идеальный маршрутизатор», который всегда выбирает правильный ответ, если хотя бы один агент решил задачу самостоятельно.

Такие сравнения напрямую связаны с опасениями команд, внедряющих ИИ в компаниях. В недавнем материале рассматривался «налог на рой» — вывод исследования о том, что при одинаковом вычислительном бюджете одиночные агенты нередко не уступают сложным мультиагентным системам или превосходят их: обмен сообщениями между агентами требует дополнительных токенов и ухудшает контекст. Работа о SAT подтверждает это наблюдение и показывает, как можно преодолеть такое ограничение.

Результаты SAT согласуются с исследованием «налога на рой» на примере однородной команды. Когда три одинаковые копии o3-mini применяли выученные стратегии SAT к задачам по математике и физике, средняя точность составила 56,0%. Это ниже, чем у одной o3-mini с линеаризацией при сопоставимом вычислительном бюджете — 58,7%. Простое копирование одной модели в мультиагентный процесс всё ещё приводит к лишним затратам вычислений.

Но SAT отличается от такого сценария сочетанием разных моделей и обученного исправления ошибок. На бенчмарках по математике и физике разнородная команда SAT достигла точности 66,7%. Это выше результата линеаризации — 58,7%, Mixture of Agents — 57,3%, согласования ответов — 55,4% и дебатов — 52,7%.

На AIME 2026 точность SAT составила 71,2%: на 29 процентных пунктов больше, чем у сильнейшего участника команды по отдельности, и на 13,4 пункта выше, чем у идеального маршрутизатора.

Одна из выученных системой стратегий получила название divergence_reconciliation. Она показывает, зачем команде нужны модели с разными особенностями. Во время обучения исследователи заметили, что DeepSeek-V3 часто находила нестандартные варианты решения и замечала редкие кейсы, которые пропускали другие модели, но регулярно ошибалась в вычислениях. Стратегия сохранила DeepSeek-V3 для поиска альтернатив, а o3-mini и Claude Sonnet 4 поручила независимо проверять спорные шаги DeepSeek.

Однако результаты на бенчмарках по знаниям и логике выявили ограничение, важное для практики. SAT показал лучшую среднюю точность на GPQA, MMLU-Pro и BBEH — 72,8%, но лишь немного опередил одноагентную линеаризацию с результатом 72,1% и уступил идеальному маршрутизатору, набравшему 79,6%.

Причина в том, что SAT создал хотя бы один правильный вариант рассуждения для 87,9% задач по знаниям и логике и опередил идеальный маршрутизатор на каждом бенчмарке. Узким местом стал выбор правильного ответа из полученных вариантов: системе было трудно надёжно отличать верные рассуждения от правдоподобных ошибок.

В задачах с проверяемой пошаговой логикой — например, по математике, физике или программированию — правильные исправления сохраняются при проверках коллег и попадают в итоговый ответ. В более мягких задачах на знания ошибочные объяснения тоже могут звучать убедительно, и итоговой модели-судье трудно отличить верные выводы от уверенных галлюцинаций.

Как применить SAT в компании

Исследователи пока не опубликовали официальный репозиторий с кодом, но приложения к статье содержат подробный план для команд, которые хотят создать самоорганизующиеся процессы. Авторы предоставили промты, определения ролей и правила этапов для всех 20 выученных стратегий в изученных областях. Разработчики могут перенести их в свои фреймворки координации. Также доступны два системных промта для модели-судьи.

Для команд, которые создают собственные мультиагентные системы, исследователи предлагают два практических правила:

В более широком смысле результаты показывают, что способность организовать работу можно считать отдельной способностью агента: без заданного человеком разбиения задачи постоянная группа моделей может научиться рассуждать вместе и находить решения, недоступные каждому участнику по отдельности, пишут исследователи.