Команды ИИ в 75% споров соглашались на неверном ответе — а низкие расходы на токены скрывали провал

Почему агенты выбирают не то, что нужно компании

Компании дают ИИ-агентам общую память и настраивают контекст, но это не гарантирует, что агенты будут работать ради одной цели. Старший вице-президент и генеральный директор Outshift by Cisco Виджай Пандей рассказал об этой проблеме Мэтту Маршаллу, генеральному директору VentureBeat, на саммите Agentic Infrastructure Stack Summit. По данным недавнего исследования Berkeley, около трети рассмотренных в нём сбоев агентов были связаны с несогласованными целями.

Представьте, что отделы продаж, разработки, продукта, финансов и юристы подключили своих агентов к заключению одной сделки. Каждый будет оптимизировать работу под показатели своей функции. По словам Пандея, такие агенты могут не согласовать намерения, не скоординировать действия и не проверить общий результат после выполнения задач.

Распространённое представление гласит, что эффективные команды ИИ должны состоять из меньшего числа агентов и тратить меньше токенов. Пандей считает этот подход неполным: низкие расходы могут означать, что агенты пропустили обсуждение, необходимое для правильного решения. Кроме того, в ближайшие несколько лет компании, вероятно, будут подключать всё больше агентов, а каждый новый поставщик и специалист увеличит число договорённостей, которых нужно достичь.

В чём сбоит согласие команды

Outshift изучала мультиагентные системы в течение восьми-девяти месяцев, в том числе собственные рабочие внедрения в здравоохранении, видеонаблюдении и разработке платформ. В каждом изученном сеансе одной из категорий сбоев обнаруживались когнитивные ошибки: агенты не могли согласовать цель, распределить работу, договориться о компромиссах или проверить результат.

В испытаниях Outshift команды из пяти агентов обсуждали задачу, и в 75% случаев все участники соглашались на неверный результат. Они отступали от первоначальных позиций и приходили к общему решению. По отчёту о расходах такие сеансы выглядели эффективными — токенов уходило меньше, потому что агенты не тратили их на согласование действий и проверку ответа.

Поэтому стоимость работы одного агента сама по себе не показывает, насколько успешна команда. Обсуждение до разрешения разногласий расходует больше токенов, чем быстрое согласие. Если счёт снижается, это может означать, что агенты прекратили спор до того, как обнаружили ошибку. Пандей сравнил агентов с экспертами, которые выставляют счёт за каждое слово и мысль: компаниям нужен командный результат, а не просто пять отдельных мнений.

Обычные инструменты наблюдаемости проблему тоже могут пропустить. Они отслеживают задержки, ошибки и всё чаще — расход токенов. Но команда, которая согласованно выбрала неверный ответ, не обязательно вызовет эти сигналы: панели мониторинга могут показывать норму, хотя результат работы ухудшается.

Почему общей памяти недостаточно

Во время разговора Маршалл упомянул PayPal и другие компании, обсуждавшиеся ранее на мероприятии: они создают системы памяти, в которых хранят стандартные процедуры и другие общие знания для агентов. Такая память нужна, но, по словам Пандея, к ней следует добавить три механизма:

Без согласования цели ошибка может возникнуть ещё до начала работы. Например, покупатель сообщает агенту по продажам, что сделке нужна функция для 100 000 пользователей. Агент передаёт требование разработчикам, но те понимают его как поддержку 100 000 пользователей за всё время, тогда как покупатель имел в виду 100 000 одновременных пользователей.

Во время работы агенты также следуют разным показателям. Агент по продажам стремится быстрее получить выручку, агенты разработки и продукта создают, тестируют и выпускают функции, юридический агент проверяет обязательства по договору, а финансовый — защищает маржу. Каждый может располагать всеми знаниями своей функции, но сделка всё равно застопорится. Пандей называет это проблемой координации: один контекст сам по себе её не решает.

Почему число агентов будет расти

Агентов в компаниях становится больше по нескольким причинам. Первая — узкая специализация: для отдельных задач создают агента с контекстом и правами доступа его команды. Например, финансовому агенту нельзя предоставлять тот же доступ, что и разработчикам.

Специализация будет развиваться и внутри отдельных агентов: разговорные модели смогут передавать задачи вспомогательным моделям, настроенным на рассуждение и выполнение действий.

Вторая причина — разные поставщики. В одном рабочем процессе по заключению сделки могут участвовать агенты Salesforce, Cisco, Microsoft, Harvey и Workday, созданные на разных платформах.

Третья — так называемые Outshift механизмы когнитивной обработки: ИТ-команды подключают их к рабочим процессам бизнеса. Механизмы защитных ограничений отвечают за безопасность, масштабирование, соответствие требованиям и доступность. Ускорители обрабатывают, например, сжатие памяти и совместное рассуждение агентов. Агентам, которые выполняют бизнес-логику, придётся взаимодействовать и с теми и с другими. Все три тенденции, по оценке Outshift, ведут к росту числа агентов в компаниях.

Как Outshift предлагает искать сбои

В течение последних 12–18 месяцев Outshift соединяла агентов через свой открытый проект AGNTCY, входящий в Linux Foundation. Опыт эксплуатации показал следующую проблему: агенты могли обмениваться данными, не работая ради одного результата.

Первый шаг — обнаружить, что команда отклонилась от общей цели. Недавно представленная Outshift система Scope анализирует уже собираемые компаниями трассировки OpenTelemetry и проверяет, что агенты говорят и делают, чтобы выявлять такое отклонение. Она основана на семантических расширениях OpenTelemetry, которые Outshift представила вместе с Microsoft в прошлом году.

Дальнейшие действия зависят от того, на каком этапе агенты разошлись:

Accord и Concord работают поверх стандартов Agent2Agent (A2A) и Model Context Protocol (MCP). Вместе эти средства расширяют мониторинг: он должен показывать не только то, успешно ли сработал каждый агент, но и привела ли их совместная работа к нужному результату.

Outshift опубликовала все четыре инструмента на github.com/iocproject. Компания называет это началом Internet of Cognition — слоя над связью между агентами, который должен помогать им согласовывать цели, координировать работу и проверять результат. По словам Пандея, одного согласия команды недостаточно: если никто не оспаривает решения и все принимают ответы друг друга за основу, согласие само становится источником ошибки.

По оценке Dataist, такие инструменты нацелены на пробел между технически успешным запуском агентов и результатом, который нужен компании. Но даже проверка общего результата зависит от того, насколько точно владельцы системы задали ожидаемую цель: MAS Lab проверяет соответствие именно этой спецификации.