Зачем Uber управляет настройками
Настройки Claude Code входят в более широкую программу контроля расходов. В октябрьском опросе VentureBeat о вычислительной инфраструктуре для ИИ 38% из 156 респондентов сообщили, что за последний год их организация отложила, сократила или отменила запланированный ИИ-проект из-за более высоких, чем ожидалось, затрат.
На встрече Agentic Infrastructure Stack Summit 28 октября Медисетти рассказал о AIFX — оболочке, которая устанавливает и настраивает интерактивные инструменты для программирования Uber и управляет их параметрами. Компания проверяет настройки в A/B-тестах на разных группах сотрудников и сравнивает входные и выходные показатели. Так инженерам не приходится самим выбирать параметры: Uber может экспериментировать, сохраняя для них единые настройки.
Медисетти назвал интерактивную работу с агентом наименее эффективным способом его использования. Uber хочет переносить больше задач в управляемых агентов, где компания может подбирать модель под конкретную работу.
Четыре настройки для контроля расходов
Медисетти не сообщил, сколько экономит каждая настройка, а в августовской публикации Uber результаты отдельных оптимизаций не разделены. В совокупности, если не менять модель, стоимость 1 000 запросов снизилась почти на 34% относительно пикового значения, а стоимость сессии — на 52% по сравнению с июньским максимумом. Отдельно Медисетти привёл пример влияния выбора модели: сравнение моделей и выбор подходящей снизили стоимость очистки устаревших флагов функций на 90%.
Uber также стремится сделать агентные задачи менее зависимыми от конкретной модели. По словам Медисетти, компания сместила внимание с доли запросов к моделям с открытыми весами на то, насколько легко переносить задачи между разными моделями. С управляемыми агентами это проще, чем с интерактивными инструментами для программирования: при смене модели инженерам приходится менять привычный порядок работы. В августовской публикации Uber также говорится, что для задач, которым не нужны рассуждения уровня передовых моделей, вспомогательным агентам по умолчанию назначают более дешёвые модели.
Когда большой контекст мешает
Предел в 400 000 токенов Uber обосновывает прежде всего затратами. Однако другие участники саммита говорили и о том, что чрезмерный контекст может ухудшить работу агента.
Директор по информационным технологиям T-Mobile Джефф Саймон рассказал, что компания попробовала загрузить в агента большой объём документации службы поддержки. Результат оказался неудачным: агент путался в обилии материалов. Теперь T-Mobile старается ограничивать контекст и направляет вопросы специализированным агентам, а не поручает одной модели разбирать всю библиотеку поддержки.
Для некоторых маркетинговых задач, напротив, требуется больше контекста. Старший вице-президент по разработке Adobe Анджул Бхамбри привела пример маркетолога, который использует Adobe CX Enterprise Coworker — агента компании для маркетинговых команд — чтобы доработать праздничную кампанию бренда. Для этого агенту может понадобиться информация о предложениях за последние три года. Без неё ответ может оказаться слишком общим.
В одном из случаев изучение прежних предложений показало, что бесплатная доставка лучше увеличивала конверсию среди постоянных клиентов, чем скидка 20% на «чёрную пятницу». По словам Бхамбри, подходящий объём контекста зависит от задачи и человека.
Карта внутренних систем Uber
Uber решает вопрос о том, сколько информации дать агенту, с помощью карты внутренних систем. Агент получает начальное представление об устройстве компании, а нужные сведения находит сам, вместо того чтобы загружать всё заранее.
Контекстный граф Uber хранит данные о производственных сервисах, их владельцах, наборах данных, исторических запросах и других внутренних системах. Сначала агенту передают схему графа — описание его структуры. Затем агент сам проходит по графу и запрашивает подходящие документы и исходный код.
По данным Медисетти на 28 октября, граф насчитывал около 200 миллионов узлов и связей. В августовской публикации Uber сообщала о 104 миллионах элементов в сумме: 24 миллионах узлов и 80 миллионах связей. По внутренним оценкам компании, граф улучшил результаты, снизил затраты и ускорил выполнение задач, но совокупных показателей Медисетти не привёл.
Августовская публикация описывает пример проверки на одной и той же модели и с одним и тем же промтом. С графом модель за 38 секунд правильно нашла таблицу данных. Без графа она потратила 20 минут и 9 секунд и ошибочно решила, что данные нельзя запросить.
Uber разработала этот подход за несколько месяцев. Медисетти объяснил, что ИИ — приоритет для всей компании на уровне генерального и технического директоров, поэтому проекту было проще получить поддержку и нужных специалистов.
T-Mobile пробовала похожую систему, но отказалась от неё. Компания создала граф знаний для агентов, отвечающих клиентам во время звонков, однако агентам приходилось искать информацию в большом графе. Они терялись, а поиск занимал слишком много времени для разговора в реальном времени. Теперь T-Mobile использует простой кэш на базе базы данных «ключ — значение»: он направляет агента к нужной информации по формулировке вопроса клиента. Подходы решают разные задачи: Uber помогает агентам ориентироваться во внутренних инженерных системах и данных, а T-Mobile нужна быстрая обработка обращений клиентов.
Как Uber оценивает результат
Медисетти описал цель Uber как увеличение объёма выполненной работы при сохранении прежних ограничений по качеству. Чтобы проверить, растёт ли продуктивность инженеров, компания считает количество проектных документов, запросов на слияние изменений и выпусков.
К показателям качества Uber относит число инцидентов на каждое изменение кода, частоту откатов, а также время проверки и выполнения циклов. Отдельно компания отслеживает, применяют ли инженеры замечания ИИ-рецензента. Uber стремится оставлять только содержательные комментарии, чтобы инженерам не приходилось разбирать сотни малозначимых замечаний.
Доверие к агентам компания наращивает постепенно, в том числе в непрерывной интеграции — автоматической сборке и проверке каждого изменения кода перед его слиянием. Если проверка завершается ошибкой, система самовосстанавливающейся непрерывной интеграции Uber пытается её исправить.
Сначала Uber отправляла каждую попытку исправления инженеру в Slack на подтверждение. Когда для определённого типа ошибки обнаруживалась высокая доля принятых исправлений, компания включала автоматическое принятие и вносила исправление прямо в запрос на слияние. Простые проверки Uber также перенесла на более ранние этапы разработки: запуск отдельного автоматического исправления с нуля обходился дорого.
По словам Медисетти, только недавно компания начала замечать устойчивую динамику по итоговым показателям — общему числу выпущенных функций и их числу на одного инженера. Цифр по этим показателям он не привёл.
Среди участников октябрьского опроса VentureBeat 26% ответили, что оценивают оправданность затрат на ИИ по измеримой финансовой отдаче, которую можно обосновать финансовой команде. Ещё 44% ориентируются на измеримый операционный результат, например сэкономленное время или объём обработанных задач, но не на финансовую отдачу. Показатели производительности и качества кода Uber относятся к этой операционной категории. Расчёт общей финансовой отдачи от затрат Uber на ИИ Медисетти не представил.
Что проверить в своих инструментах
Четыре настройки Uber дают платформенным командам вопросы для проверки собственных инструментов программирования: где установлен предел контекста и когда начинается его автоматическое сворачивание; какой уровень рассуждения задан по умолчанию; как долго промт хранится в кэше для разных типов агентов; сколько токенов занимают описания инструментов до первого запроса.
По оценке Dataist, опыт Uber показывает, что расходы можно сдерживать не только выбором более дешёвой модели: значение имеют и объём контекста, срок хранения промта и способ подключения инструментов. Но компания не раскрывает экономию от каждой настройки отдельно, поэтому сравнить их вклад в общий результат нельзя. Её показатели производительности и качества также не заменяют расчёт финансовой отдачи, которого Uber пока не представила.
Читайте также
IPO Anthropic может принести благотворительным организациям $156 млрд
ИИ-индустрия продолжает уверенно расти, но темпы роста замедляются
В эту игру нельзя выиграть без квантового компьютера
После исторического IPO акции Anthropic резко пошли вниз
Google научила Gemini управлять вашим Mac
Эксклюзив: OpenAI представила Performance Factory — систему на базе Codex, которая не даёт ChatGPT замедляться
Стартап бывшего топ-менеджера Alibaba Everful привлёк $48,5 млн, чтобы связать ритейлеров с китайскими фабриками
Google построила гигантское «Зеркальное измерение» интернета для испытания ИИ-агентов в Chrome
Исследователь Anthropic: после выхода компании на биржу почти все люди могут навсегда потерять возможность найти работу
Anthropic бьёт в колокол на Nasdaq: торги начинаются после рекордного IPO — деловая хроника в реальном времени
Собственные исследователи OpenAI теперь ценят свои ИИ-инструменты выше, чем почти половину коллег
Superhuman внедряет своего ассистента Go повсюду
Музыкальная индустрия Австралии отвергла предложение освободить музыкантов от сбора данных для обучения ИИ, назвав его попыткой «разделяй и властвуй»
Pangram счёл 99% отмеченного премией романа перуанского автора текстом ИИ, но издательство его поддержало
Nvidia заинтриговала, не подав обычный отчёт в SEC
Модели Anthropic, OpenAI и Google без труда назначали медиков, журналистов и сдающихся солдат целями дронов-камикадзе
Snapchat разрешила создавать AR-линзы с помощью ИИ-ассистентов вроде Claude Code и Cursor
Продавить ненужные никому дата-центры и надеяться, что пузырь ИИ не лопнет: таков план Британии по росту экономики
OCR-модели оцифровывают миллион страниц дешевле $130: за 18 месяцев цены упали в пять раз
Если технарям приходится увольняться, чтобы бить тревогу, пора беспокоиться
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram