Salesforce дополняет Agent Fabric ИИ-проверками, которые отключают сбойных агентов

В объявлении от 27 октября Salesforce назвала сроки для Agent Evals, о которых MuleSoft впервые рассказала на ежегодной конференции Dreamforce в сентябре. Компания также представила будущий инструмент API Evals для проверки программных подключений, запустила бета-тестирование пользовательских сканеров агентов и запланировала на январь выключатель, срабатывающий по результатам оценки.

Для корпоративных клиентов в анонсе смешаны будущие функции, расширения уже доступных инструментов и ранее объявленные возможности. Базовый выключатель стал общедоступен в сентябре. Летом MuleSoft рассказала о бюджетных ограничениях, панелях расходов и функциях для сокращения числа токенов. В сентябрьском анонсе компания уже описывала связь неудачных проверок с корректирующими действиями.

Agent Fabric должна сокращать путь от обнаружения проблемы до её устранения. Компания может знать, что агент отвечает неверно или расходует слишком много ресурсов, но ей всё ещё нужно найти ответственного за него, перейти на другую платформу и получить разрешение на приостановку работы.

В интервью VentureBeat старший вице-президент и генеральный директор MuleSoft в Salesforce Эндрю Комсток объяснил, какие проблемы клиентов лежат в основе подхода компании. По его словам, у организаций становится слишком много агентов, они используют разные технологии, не взаимодействуют друг с другом и работают изолированно.

Salesforce намерена управлять агентами, даже если клиенты создали их на конкурирующих платформах. Комсток подчеркнул, что речь идёт обо всех системах, а не только о продуктах Salesforce.

Agent Evals готовится к бета-тестированию

В сентябре на Dreamforce Salesforce уже рассказывала об Agent Evals: инструмент должен создавать тесты, сравнивать результаты с критериями успеха и связывать неудачные проверки с исправлениями.

В октябрьском анонсе появились сроки запуска и новые подробности о применении проверок. Они могут использоваться не только перед развёртыванием, но и для оценки работающих агентов, языковых моделей и серверов Model Context Protocol. Задача — замечать поведение за пределами заданных организацией порогов и запускать подходящие действия, включая этапы согласования, если этого требуют правила.

В гипотетическом сценарии Salesforce для розничной торговли агент переводят на более дешёвую модель, после чего он хуже отвечает на вопросы о статусе заказа. Система оценки обнаруживает ухудшение и запускает процесс: агент помещают в карантин, при необходимости получают согласование, затем исправляют и тестируют его заново. Salesforce приводит этот сценарий как пример, а не как результат работы с реальным клиентом.

По словам Комстока, проверки также помогают следить за тем, как агенты общаются. Например, агент для работы с клиентами, который должен говорить бодро, не должен неожиданно переходить на сарказм.

Будущий инструмент API Evals предназначен для другой части системы: он будет создавать функциональные тесты и тесты производительности на основе спецификаций API. Бета-тестирование обоих продуктов запланировано на ноябрь, а полноценный запуск — на январь 2027 года.

Выключатель уже работает, проверка с автоматическим отключением появится позже

Сам выключатель не новая функция. MuleSoft представила эту концепцию в июне, а в сентябре сделала базовую возможность общедоступной. Она использует средства управления шлюзом, чтобы блокировать контролируемый трафик. Вмешательство можно ограничить одним запросом, сеансом, агентом или клиентом, а позднее восстановить доступ.

При этом блокировка доступа агента через шлюз не обязательно останавливает все процессы, запущенные на внешней платформе, где работает агент.

На январь Salesforce запланировала Triggered-Agent Kill Switch — механизм, который будет связывать обнаруженные проблемы с вмешательством по правилам. В предварительном анонсе проверок в сентябре компания уже говорила о связи сбоев с исправлениями; октябрьское объявление уточнило срок выхода этой функции.

Для клиентов разница заключается в том, что доступный выключатель уже позволяет остановить контролируемую активность, а будущий механизм будет связывать результаты проверки с таким действием.

Пользовательские сканеры расширят поиск агентов

Возможности обнаружения агентов тоже появились не сегодня. В апреле MuleSoft описала сканеры, которые находят агентов в поддерживаемых средах.

Теперь в бета-тестирование запускается Custom Agent Scanner. Он должен расширить поиск на внутренние системы, среды за межсетевыми экранами и дополнительные платформы. Полноценный запуск намечен на январь.

Комсток пояснил, что клиентам не придётся переносить агентов в Salesforce. По его словам, агенты продолжат работать там, где запущены, а Agent Fabric будет собирать ссылки на них в едином реестре.

Администратор подключает нужные среды и добавляет их метаданные в общий реестр. Для работы с Agent Fabric клиентам не обязательно использовать Agentforce — собственную платформу Salesforce для агентов.

Комсток также отметил, что потребность в такой системе сильнее зависит от разнообразия агентских развёртываний, чем от размера компании. У бизнеса, который использует несколько фреймворков и поставщиков, могут возникнуть проблемы с координацией и без масштаба крупного предприятия.

Контроль расходов продолжает летний план

В анонсе также упоминаются панель FinOps Dashboard, бюджеты Model Wallet и правила для сокращения потребления моделей.

Эти функции появились не одновременно с октябрьским объявлением. В августовском обзоре MuleSoft перечислялись управление доступом к моделям, оптимизация затрат, кошельки и улучшения панели. В сентябре компания объяснила, что в Model Wallet можно задавать бюджеты в долларах или токенах для поставщика либо модели, а также устанавливать дневные, недельные или месячные лимиты.

Эти инструменты отвечают на типичную проблему: отдельный разработчик может выбрать дорогую модель, чтобы быстрее выполнить задачу, а компании нужно понимать общую сумму расходов.

По словам Комстока, компании важно видеть не только общий счёт, но и команды с проектами, которые за ним стоят. Такая информация помогает связать расходы с изменениями, происходящими в организации.

В октябрьском описании выпуска Salesforce перечисляет семантическое кэширование, сжатие данных и сокращение ответов. По утверждению компании, в тестовых сценариях эти методы позволяют сократить расход токенов до 75%. Это результат испытаний поставщика, а не гарантия такого же снижения общего счёта клиента за ИИ.

Правила для разных шлюзов появились раньше

Salesforce также делает акцент на Open Policies — правилах управления для федеративных шлюзов, в том числе Azure, Apigee и Kong.

Эта возможность не дебютирует в октябре. MuleSoft рассказывала об Open Policies в сентябре, а в октябрьских примечаниях к выпуску описала переименование Universal Policies в Open Policies и связанные с ним улучшения.

Для компаний преимущество заключается в возможности применять общие правила к уже используемой инфраструктуре. Но реальный охват зависит от поддерживаемых интеграций и от того, проходит ли трафик через точки, где можно применять ограничения.

Комсток назвал управление необходимым условием для более широкого внедрения агентов. По его словам, когда работа регулируется понятными правилами, компания может увереннее отвечать на вопросы и быстрее действовать.

MuleSoft указывает стартовую цену в $2 000, но стоимость проверок неясна

На публичной странице цен MuleSoft Salesforce указывает стартовую стоимость $2 000 в месяц для более широкого портфеля продуктов. Для разных возможностей используются Mule Credits.

Предложение по управлению агентами включает функции Agent Fabric: обнаружение, оркестрацию, управление и бюджеты. Однако страница предлагает обратиться к отделу продаж. Поэтому $2 000 нельзя считать подтверждённой отдельной ценой конфигурации Agent Fabric из октябрьского объявления.

В материалах о ценах перечислены пакеты предоплаченных кредитов, вариант с минимальным годовым обязательством $50 000 и тариф с неограниченным использованием по индивидуальной цене. Отдельная публичная цена Agent Evals или API Evals не указана. Информации также недостаточно, чтобы рассчитать стоимость конкретной нагрузки проверок.

Бюджет проекта в $2 000, который Комсток привёл в интервью, был гипотетическим примером, а не объявлением цены продукта.

Microsoft, ServiceNow и OpenAI развивают управление корпоративными агентами

Agent Fabric выходит на растущий рынок управления агентами в организациях. Конкурирующие продукты при этом по-разному сочетают контроль и выполнение задач.

Microsoft Agent 365 близок к Agent Fabric по части корпоративного администрирования. Microsoft описывает реестр агентов, управление доступом и жизненным циклом, аналитику и интеграции безопасности с Entra, Defender и Purview.

ИИ Control Tower от ServiceNow тоже предназначен для обнаружения, наблюдения, управления, защиты и оценки систем разных поставщиков. Среди заявленных возможностей — контроль рискованных действий и анализ расходов на ИИ и результатов для бизнеса.

Ещё один конкурент — OpenAI Frontier. Его предложение шире: оно охватывает создание и эксплуатацию агентов, подключение бизнес-систем и контекста, оценку производительности и управление разрешениями. Продукты пересекаются в сфере корпоративного управления агентами, хотя Agent Fabric делает акцент на контроле агентов в уже используемых средах.

Claude Managed Agents от Anthropic пересекается с Agent Fabric на уровне инфраструктуры, но сравнение между ними менее прямое. Anthropic предлагает управляемые средства для запуска агентов, включая среды выполнения и оркестрацию. Основное предложение Agent Fabric — находить и контролировать агентов, которые могут продолжать работать на других платформах.

Anthropic указывает цену Managed Agents Runtime — $0,08 за час активного сеанса, не считая оплаты моделей и инструментов. Эту цену нельзя напрямую сравнивать со стартовой стоимостью портфеля MuleSoft или с индивидуальной ценой договора на Agent Fabric.

Такое сопоставление основано на опубликованных возможностях поставщиков и не означает, что продукты взаимозаменяемы. В зависимости от имеющейся инфраструктуры и поддержки интеграций компании могут понадобиться и среда запуска агентов, и отдельный уровень управления.

Что доступно сейчас и что появится позже

Ближайшее новое предложение в анонсе — бета-версия Custom Agent Scanner. Базовый выключатель и упомянутые инструменты контроля расходов уже доступны всем клиентам.

Бета-тестирование Agent Evals и API Evals намечено на ноябрь, а полноценный запуск — на январь 2027 года. Тогда же Custom Agent Scanner должен стать общедоступным, а Salesforce планирует выпустить Triggered-Agent Kill Switch.

Для компаний, оценивающих предложение, ключевой вопрос — сможет ли Salesforce связать обнаружение агентов, проверки, видимость расходов и принудительное вмешательство в единую систему для тех агентов, которыми они действительно пользуются. Ответ станет понятен после выхода запланированных функций.