PayPal добилась точности ИИ в 95% на той же языковой модели

Какие знания нужны помощнику

Внутренний помощник PayPal должен отвечать на вопросы, которые обычно поступают команде специалистов по данным. Доступ к записям сам по себе не гарантирует правильного ответа: например, агент может найти записи о счетах, но неверно определить, какие из них считать «новыми». Для этого нужны правила бизнеса.

PayPal создала слой знаний, рассчитанный на работу с разными моделями. В него входят:

Чжан считает создание этого слоя знаний ключевой частью собственной интеллектуальной собственности PayPal.

Знания остаются, модель меняется

Чжан изначально спроектировала помощника так, чтобы он не зависел от конкретной модели: при улучшении модели её можно заменить, сохранив слой знаний.

Для отдельного торгового агента, работающего с клиентами PayPal, команда проверила четыре или пять моделей. Более крупные модели обладали широкими возможностями, но вначале отвечали примерно за 15 секунд.

Переход на модель с 8 млрд параметров заметно сократил задержку, но снизил точность. Команда Чжан настроила эту модель для работы в сфере торговли. Точность выросла, однако желаемого уровня не достигла.

Затем PayPal стала меньше полагаться на масштабную дополнительную настройку моделей. Она может улучшить результаты, но требует постоянной работы: для неё нужны специальные знания, а при выходе новых моделей процесс приходится повторять. По словам Чжан, частое обучение обходится дорого. При этом PayPal не отказывается от настройки полностью — команда сопоставляет её пользу с затратами на поддержку при изменении моделей и рабочих нагрузок.

Как агенты используют знания и инструменты

PayPal создаёт платформу, которая даёт агентам доступ к корпоративным знаниям и одновременно позволяет сохранять процедуры, сверять предлагаемые решения с авторитетными источниками и определять, какие действия требуют одобрения человека. Об этом рассказала Дипика Кхера, старший директор PayPal по ИИ, на саммите VentureBeat Agentic Infrastructure Stack Summit 28 октября.

Эти механизмы особенно важны при разборе инцидентов. PayPal создала рабочий процесс из семи агентов для расследования оповещений в системе, где работает более 33 000 сервисов. Он собирает сведения из Datadog, ServiceNow и внутренних журналов, чтобы отделять значимые сигналы от шума, собирать контекст и анализировать инциденты.

Распределение работы зависит от задач агентов, нужного им контекста и доступных инструментов. Число агентов выбирают под конкретную задачу: в другом рабочем процессе — для проверки безопасности — их бывает до 18.

Разделение работы не устраняет риск ошибочного диагноза и неправильного исправления. Поэтому PayPal сверяет каждое предлагаемое решение с первоисточником. Память агента объединяет сертифицированные источники данных и стандартные рабочие процедуры — SOP; дополнительные проверки обеспечивают политики и оценки рисков. Многие решения по-прежнему должен проверять человек: PayPal осторожно подходит к предоставлению агентам самостоятельности.

Даже если модель находит нужные сведения, она может не знать, как применить их по процедуре. Кхера привела в пример внутренний инструмент для ответов на вопросы сотрудников отдела кадров: он испытывал трудности, потому что процедуры хранились в неподходящем для точных ответов виде. Команда изменила способ хранения инструкций и стала сохранять последовательные шаги вместе, а не разбивать их на отдельные фрагменты.

PayPal также проверяет, когда агент должен обращаться к памяти. Компания сочетает интеграции по протоколу Model Context Protocol (MCP) с прямыми вызовами API. MCP подходит для некоторых взаимодействий с инструментами, когда агенту нужно выбрать, к какому из них обратиться. Но в рабочем процессе разработки программного обеспечения PayPal требовалось гарантировать обращение к памяти на определённом этапе, а не оставлять это на усмотрение агента.

Компания экспериментирует и с обновлением памяти по мере работы агентов. Эпизодическая память фиксирует сеансы и результаты запросов на слияние кода (PR). Ночью система обобщает опыт разных пользователей и выбирает уроки, которые можно сохранить для будущих взаимодействий. Так PayPal хочет превращать накопленный опыт в повторно используемые рекомендации.

Переносимые знания нужно проверять в работе

Проверки могут не отражать условия реальной эксплуатации, отметила Чжан. Система способна хорошо отвечать на ожидаемые тестовые вопросы, но ошибаться в тех вопросах, которые чаще задают пользователи. Если в рабочей среде преобладают именно такие запросы, тестовая оценка может не совпадать с опытом пользователей, даже когда модель и процесс остались прежними.

На проблему указывают и результаты опроса VB Pulse об агентах и надёжности их оценки, проведённого в октябре. Среди респондентов, чьи организации проводят проверки до внедрения, 42% сообщили, что за последний год агент или функция на базе большой языковой модели прошли внутренние тесты, но затем дали сбой. Среди сообщивших о сбоях 49% заявили, что наиболее серьёзный инцидент затронул клиентов.

Наблюдение за системой после запуска не всегда позволяет обнаружить проблему: в том же опросе 39% участников не назвали автоматические проверки или сигналы мониторинга среди первых способов выявить неверный или некачественный ответ ИИ. Вместо этого, по их словам, проблему замечают люди.

Чтобы лучше учитывать различия между тестами и реальной работой, PayPal проводит более широкие офлайн-симуляции, генерирует синтетические вопросы и проверяет взаимодействия как с одним сообщением, так и с несколькими. Чжан также считает важным сочетать оценку с помощью моделей с проверкой людьми. После запуска комментарии сотрудников помогают обнаруживать ошибки.

По данным Чжан, за 10 недель внутренний помощник обработал более 1 000 вопросов и, по оценке компании, сэкономил 1 600 часов. Она предупредила, что одно лишь число вопросов не доказывает роста производительности.

В потребительских системах выявлять ошибки сложнее: пользователи могут не объяснить, что пошло не так. Повторные запросы и прекращение общения могут подсказать, где искать проблему, но сами по себе не доказывают, что ответ был неверным.

По оценке Dataist, результаты PayPal показывают, что точность помощника зависит не только от выбора модели: нужны ещё и хорошо организованные деловые знания, контроль действий и проверки, близкие к реальному использованию. Но даже переносимый слой знаний не отменяет проверок после запуска: тесты могут не охватить самые частые вопросы пользователей, а многие решения PayPal пока оставляет на проверку людям.