Как T-Mobile выбирает контекст
С 2024 года T-Mobile создаёт ИИ-агентов, которые общаются с клиентами в чате, по СМС и голосом. Компания сосредоточилась на координации агентов, а не на обучении собственных моделей. По словам директора по информационным технологиям Джеффа Саймона, по мере улучшения моделей компания добавляла новых агентов: модели стали лучше координировать их работу и вызовы инструментов. Перед тем как запрос попадёт к модели, T-Mobile удаляет из него потенциально не относящиеся к делу сведения. Саймон назвал это одним из важнейших выводов компании.
Сначала T-Mobile попыталась загрузить в агента всю документацию службы поддержки, рассчитывая, что большая длина контекстного окна позволит ему отвечать как эксперту. Но в документах компании такого масштаба встречаются противоречивые инструкции, а слова клиента могут относиться к разным процессам. Например, просьба о новом устройстве может означать новый телефон для уже подключённой линии или добавление ещё одной линии. Если в контекст попадают сразу несколько возможных маршрутов, модель может выбрать неверный.
Следующей попыткой стал граф знаний. Он оказался медленным: агентам приходилось искать нужные сведения среди множества связей, а на это не хватало времени. Клиенты к тому же задают один и тот же вопрос разными словами. Если агент неверно трактовал запрос, он мог выбрать неправильный маршрут по графу и потеряться — даже когда T-Mobile пыталась направлять его.
Вместо графа компания использует кэш в базе данных «ключ — значение». Это таблица, которая связывает распространённые формулировки вопросов с дальнейшим маршрутом агента; команда обновляет её, когда клиенты задают вопросы новыми способами. Таблица предназначена для агентов, а не для людей. Агент-координатор уточняет, какой путь нужен клиенту, и передаёт запрос только агенту, располагающему контекстом для этого сценария. По словам Саймона, решение простое, быстрое, отзывчивое и хорошо масштабируется; пока агенты работают эффективно.
У агентов есть и ограниченные возможности менять клиентские аккаунты. С их помощью можно купить международный пакет передачи данных или подключить другие услуги. Перед покупкой система проверяет, действительно ли клиент намерен её совершить.
Как T-Mobile выявляет ошибочные ответы
В каждом сеансе чата и голосового общения T-Mobile запускает небольшую языковую модель вместе с основной. Она оценивает работу агента и отмечает случаи, когда тот мог ошибиться или клиент начинает злиться. Такие сеансы проверяют сотрудники: из-за большого объёма обращений вручную проверить все разговоры или даже крупную выборку невозможно.
Дополнительная модель увеличивает расходы, признал Саймон. Компания считает эти затраты оправданными, потому что заранее предусмотреть все необычные формулировки клиентских запросов нельзя.
Проверяющая модель однажды сообщила о фоновой музыке ожидания во многих звонках. Для T-Mobile это стало неожиданностью: компания не включает такую музыку. Инженеры несколько недель изучали системы звонков и интерактивного голосового меню, прежде чем выяснили, что её выдумывала клиентская модель. Так происходило, когда та приостанавливала ответ, чтобы найти сведения или вызвать инструмент. Теперь в промтах модели отдельно указано не придумывать музыку ожидания — такой проблемы команда прежде не ожидала.
К чему приводят ошибки в контексте
В октябрьском опросе VB Pulse об уровнях контекста для ИИ-агентов приняли участие 97 человек из организаций, использующих таких агентов для работы с корпоративными данными. 78% сообщили, что за последние шесть месяцев сталкивались хотя бы с одним случаем, когда агент уверенно дал неверный ответ из-за отсутствующего или противоречивого делового контекста. В опросе такой случай называют сбоем контекста.
Среди 76 респондентов, сообщивших о таком сбое, последствия наиболее серьёзного случая распределились так:
О респондентах также спросили, как обычно выявляют уверенные, но неверные ответы. Можно было выбрать несколько способов. Чаще всего называли автоматические проверки, которые сравнивают ответ агента с надёжным источником: 57%. Выборочную проверку специалистов по теме указали 55%, оповещения на панелях мониторинга — 52%. Ещё 19% узнают об ошибке от клиента, партнёра или поставщика.
Все 55 респондентов, назвавших автоматические проверки, отслеживают, была ли причина ошибки в контексте или в самой модели. Среди 42 участников, не выбравших такие проверки, 10 человек — 24% — вообще не отслеживают источник неверного ответа.
Adobe настраивает контекст под задачу
На саммите Agentic Infrastructure Stack старший вице-президент по инженерным вопросам Adobe Анджул Бхамбри описала маркетингового агента Adobe CX Enterprise Coworker как систему, которой нужен точно подобранный контекст. Его состав зависит от задачи.
Для подготовки письма клиентам в Европе агенту нужны требования к рассылке, правила согласия ЕС и собственные правила компании о том, кому можно отправлять сообщения. Если добавить к ним правила США, возрастает риск ошибки.
Для доработки праздничной кампании, напротив, нужны данные за несколько лет: без них ответ может оказаться слишком общим. Бхамбри привела пример из истории компании: во время распродажи в «Чёрную пятницу» бесплатная доставка лучше способствовала покупке, чем скидка 20%, — среди постоянных клиентов.
Adobe сокращает контекст до передачи промта основной модели. Сначала задаётся неизменная для компании основа, например правила бренда, нужные каждому пользователю. Затем этап предварительной выборки использует ключевые слова, семантические индексы и графы знаний. Они показывают связи между маркетинговыми материалами, время их использования и последующие результаты. После этого этап объединения и ранжирования определяет, чем заполнить контекстное окно. Эту работу до запуска основной модели выполняют системы понимания естественного языка и более дешёвая модель.
Почему опыт Uber с графом отличается
Результат Uber показывает, что граф знаний может быть полезен в другой задаче. В записи инженерного блога от 27 августа компания сообщила: агент, опиравшийся на ИИ Context Graph, нашёл таблицу с данными за 38 секунд. Та же модель без графа потратила больше 20 минут и ошибочно решила, что запросить данные невозможно.
Как сообщило издание VentureBeat в четверг, инженерные агенты Uber используют граф, чтобы находить нужные системы и при необходимости извлекать документы или код. Агентам T-Mobile приходилось обращаться к графу во время живого общения с клиентами, где задержка особенно заметна.
Какие источники контекста выбирают компании
В опросе VB Pulse участников просили назвать основной источник делового контекста для их агентов. Результаты распределились так:
Для команд, создающих агентов на корпоративных данных, остаются практические вопросы: какие документы в контексте противоречат друг другу, заметит ли команда ответ, основанный не на той инструкции, кто отвечает за таблицу, индекс или граф, определяющий доступные агенту сведения, и сколько клиент может ждать, пока система их найдёт.
По оценке Dataist, опыт T-Mobile показывает, что объём доступной модели информации сам по себе не гарантирует точности: противоречивые инструкции могут увести агента не туда, а сложный поиск — задержать ответ. Подход компании делает выбор маршрута проще, но требует обновлять таблицу по мере появления новых формулировок. Дополнительная проверка помогает находить ошибки, однако увеличивает расходы и не отменяет необходимости разбирать необычные случаи.
Читайте также
OpenAI значительно усложнила извлечение внутренних рассуждений своих новейших ИИ-моделей атакующими
Федеральные власти США расследуют «проблемы с бухгалтерской отчётностью» Nvidia
Ложь Дженсена Хуанга встревожила совет Nvidia ещё до его отставки
Signal блокирует скриншоты на iOS 27 и Android, чтобы ИИ-агенты не читали личные переписки
Математик Anthropic утверждает, что доказал гипотезу Римана с помощью Claude
Забудьте о роботах-бунтарях: по-настоящему нас должны пугать техномиллиардеры и крикет с ИИ
Самый неправильно понятый график в сфере ИИ получил крупное обновление
Чипы выдержат условия космоса. А выдержит ли их финансирование?
Дочь Дженсена Хуанга тоже работает в Nvidia — по сообщениям, она кричит на сотрудников и осыпает их странными оскорблениями
Распродажа техакций может усилиться, прежде чем появится повод покупать
Nvidia вкладывает не менее $500 млн в диффузионные модели Inception, чтобы усилить линейку открытых Nemotron
Анализ Bloomberg: вакансий в Китае для работников под влиянием ИИ стало сокращаться на 10 процентных пунктов быстрее, чем для остальных
Ставка Google на ИИ оборачивается громким провалом
Google обновила главную страницу, ещё сильнее превратив поиск в ИИ-сервис ответов
Бывший председатель SEC Гэри Генслер: ИИ уже в пузыре, который лопнет и обернётся экономической катастрофой
Anthropic завершила IPO и параллельное частное размещение, банки полностью выкупили дополнительные акции по своей опции
Семь основателей Anthropic заработали почти $2 млрд на рекордном IPO
ИИ взимает скрытый «когнитивный налог» с самых низкооплачиваемых работников
Collective Wisdom в Hermes Agent превращает личную ИИ-хитрость сотрудника в навык всей команды
Мировые фондовые рынки падают: IPO Anthropic не остановило распродажу акций ИИ-компаний
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram