Откуда берутся лишние расходы
Каждое обращение агента к модели расходует токены: в запрос входят инструкции, описания инструментов и история сессии. При этом разработчики часто возвращаются к одним и тем же репозиториям, а агент без памяти о прошлой работе заново выясняет, как запускать тесты, загружает ненужные инструменты и повторяет неудачные попытки.
Авторы TokenEconomizer проверили, как это происходит, на Claude Code: последовательно запустили задачи из SWE-Bench — бенчмарка исправления реальных ошибок в открытых проектах на Python — на 60 задачах. После того как в истории репозитория накапливалось не меньше пяти выполненных задач, 30% вызовов инструментов повторяли действия из предыдущих задач того же репозитория. С действиями из истории других репозиториев совпадали только 7% вызовов.
На каждом шаге Claude Code получал описания 23 инструментов, хотя 16 из них ни разу не использовались. А 17% задач, закончившихся неудачей, потребовали 32% общих расходов.
Авторы также испытали три популярных открытых плагина, каждый из которых экономил ресурсы по заранее заданной схеме. В одних репозиториях они снижали затраты, в других — нет. По выводу авторов, экономия должна подстраиваться под особенности конкретного репозитория.
Как работает TokenEconomizer
После каждой сессии плагин читает её журнал и обновляет сведения о репозитории. Для этого он использует доступные агенту интерфейсы и три механизма:
Каждая завершённая сессия учит TokenEconomizer чему-то о репозитории, поэтому последующие сессии требуют меньше токенов
Источник: microsoft.com
Контроллер меняет свои решения по мере поступления новых данных. В расчёт заявленной экономии включены и расходы на обращения TokenEconomizer к собственной модели.
Результаты испытаний
TokenEconomizer проверили на 277 задачах SWE-Bench из шести репозиториев, используя пять сочетаний агентов для программирования и моделей. Для каждого репозитория испытания начинались без истории предыдущих сессий.
В среднем расходы снизились на 18,4–30,9%. Снижение наблюдалось во всех 30 сочетаниях репозитория и агента или модели, без потери качества выполнения задач. Снижение усилия модели при рассуждении давало сопоставимую или даже большую экономию, но заметно ухудшало результаты.
TokenEconomizer работает вместе с неизменённым агентом для написания кода. Микронавыки добавляют усвоенные факты, отсечение инструментов сокращает набор загруженных инструментов, а вмешательство в цикл ошибок перенаправляет застрявшую работу. После каждой завершённой сессии обновляются все три компонента
Источник: microsoft.com
В начале работы расходы могут вырасти: плагину нужно накопить опыт. Но совокупные затраты становились ниже исходного уровня во всех репозиториях не позднее шестой задачи. Каждый из трёх механизмов экономил ресурсы отдельно, а наибольший эффект давало их совместное использование.
На SWE-Bench TokenEconomizer снизил среднюю стоимость задачи на 18,4–30,9% в пяти комбинациях агента и модели (слева), а Pass@1 вырос в четырёх из них (справа)
Источник: microsoft.com
Экономия сохранялась и в других проверках. При последовательной веб-разработке затраты на Web-Bench снизились на 16,0–21,2%. В задачах проверки безопасности, где каждая задача относилась к новому репозиторию, снижение составило 6,4–19,6%.
Накопленное изменение стоимости относительно значения по умолчанию для задач каждого репозитория при использовании Claude Code. Начав без истории, каждый репозиторий обходится дешевле уже к шестой задаче
Источник: microsoft.com
Плагин для существующих агентов
TokenEconomizer задуман как лёгкий контроллер, который помогает агентам учитывать опыт не только при решении задач, но и при расходовании вычислительных ресурсов. Открытый плагин работает рядом с существующими агентами для программирования, не меняя их модели. Для него не нужен отдельный ключ API, а собранные сведения остаются на компьютере разработчика.
Авторы связывают дальнейшее развитие таких систем с адаптацией их работы к накопленному опыту. Плагин предлагает разработчикам и исследователям основу для изучения этого подхода.
Среди авторов работы — Аарон Дж. Лю, Вэйцзя Сюй, Чандэн Сингх, Цзысяо Чэнь, Дживана Прия Инала, Бин Ю, Ион Стоика, Мишель Галли и Цзяньфэн Гао. Цзяньфэн Гао указан как технический научный сотрудник и корпоративный вице-президент.
По оценке Dataist, TokenEconomizer нацелен на повторяющиеся расходы внутри одного репозитория: именно там агент может использовать накопленные сведения о прошлых задачах. Для задач в новых репозиториях экономия в испытаниях была ниже, чем при последовательной работе над одним проектом.
Читайте также
Новый ИИ-стартап Джордана Белфорта Tone хочет продавать как «Волк с Уолл-стрит»
Надёжный ИИ строят не на прогнозах, а на ограничениях
Claude создаёт интерактивные сайты прямо в графике на canvas, возвращая эпоху Flash с настоящим HTML
Audible использует ИИ, чтобы помочь слушателям находить аудиокниги
ИИ для компаний среднего бизнеса — не уменьшенная копия корпоративного ИИ
Исследование под эгидой ООН: модели ИИ «слабы и ненадёжны» в вопросах климатологии
Смогут ли роботы перенести операции при инсульте в удалённые больницы?
США ужесточают экспортный контроль над ИИ-чипами, чтобы не дать китайским компаниям удалённо получать доступ к вычислительным мощностям
Бывшие руководители Freshworks привлекли $53 млн, чтобы бросить вызов Salesforce и HubSpot с AI-Native CRM
Apple запустила приложение, чтобы изучить, как люди используют ИИ для здоровья
Индийский стартап Bharat Semi привлёк $24 млн на посевном раунде и метит на мировой рынок ИИ-сенсоров
Число сообщений о созданных ИИ материалах сексуального насилия над детьми выросло на 8 400% за два года — данные Childlight
Зачем Skydio создала беспилотник с асимметричной конструкцией
Один скомпрометированный MCP-сервер может заставить ИИ-агента злоупотреблять инструментами, которым вы уже доверяете
Claude Fable 5.2 от Anthropic не генерирует изображения, а рисует их
Резервный банк Австралии: ИИ сильнее всего сказывается на молодых работниках — особенно в IT и обслуживании клиентов
Эта ИИ-игрушка тамагочи превращает обычные вещи в капризных виртуальных питомцев
Meituan выпустила агентную модель на 1,6 трлн параметров, ни разу не задействовав GPU Nvidia
160 вопросов — всего одна ошибка: набравший высший балл на экзамене налоговых бухгалтеров в Южной Корее признался, что списывал с помощью ИИ
Где была служба безопасности Nvidia?
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram