i
Новости
Новости · 2026-11-16

TokenEconomizer учится на опыте, чтобы ИИ-агенты для программирования тратили меньше токенов

Dataist Dataist

Открытый плагин TokenEconomizer от UC Berkeley, Microsoft Research и Microsoft Security помогает агентам для программирования экономнее работать с уже знакомыми репозиториями. Он анализирует завершённые сессии и использует накопленный опыт, не меняя агента или его модель. В проверке на 277 задачах по исправлению ошибок расходы снизились на 18,4–30,9% для пяти сочетаний агентов и моделей. Экономия появилась во всех проверенных репозиториях, а успешность выполнения задач в целом оставалась стабильной.

Обложка: TokenEconomizer учится на опыте, чтобы ИИ-агенты для программирования тратили меньше токенов

Откуда берутся лишние расходы

Каждое обращение агента к модели расходует токены: в запрос входят инструкции, описания инструментов и история сессии. При этом разработчики часто возвращаются к одним и тем же репозиториям, а агент без памяти о прошлой работе заново выясняет, как запускать тесты, загружает ненужные инструменты и повторяет неудачные попытки.

Авторы TokenEconomizer проверили, как это происходит, на Claude Code: последовательно запустили задачи из SWE-Bench — бенчмарка исправления реальных ошибок в открытых проектах на Python — на 60 задачах. После того как в истории репозитория накапливалось не меньше пяти выполненных задач, 30% вызовов инструментов повторяли действия из предыдущих задач того же репозитория. С действиями из истории других репозиториев совпадали только 7% вызовов.

На каждом шаге Claude Code получал описания 23 инструментов, хотя 16 из них ни разу не использовались. А 17% задач, закончившихся неудачей, потребовали 32% общих расходов.

Авторы также испытали три популярных открытых плагина, каждый из которых экономил ресурсы по заранее заданной схеме. В одних репозиториях они снижали затраты, в других — нет. По выводу авторов, экономия должна подстраиваться под особенности конкретного репозитория.

Как работает TokenEconomizer

После каждой сессии плагин читает её журнал и обновляет сведения о репозитории. Для этого он использует доступные агенту интерфейсы и три механизма:

Микронавыки — короткие заметки об особенностях репозитория. Плагин выявляет повторяющиеся закономерности и предлагает заметки, но добавляет их в начальный контекст агента только после того, как закономерность подтверждена несколькими сессиями. Если новые данные ей противоречат, заметка удаляется.
Отбор инструментов — плагин убирает инструменты, которые, судя по истории репозитория, вряд ли понадобятся, но сохраняет основные средства запуска команд и редактирования файлов. Удалённые инструменты можно вернуть.
Вмешательство при цикле ошибок — система отслеживает, не повторяет ли агент одну и ту же неудачную попытку. Отдельная модель-судья определяет, застрял агент или продолжает продвигаться. Если агент застрял, он получает короткую заметку с предложением попробовать другой подход. В открытом плагине, если это не помогает, TokenEconomizer сообщает разработчику, но не останавливает работу самостоятельно.
Каждая завершённая сессия учит TokenEconomizer чему-то о репозитории, поэтому последующие сессии требуют меньше токенов

Каждая завершённая сессия учит TokenEconomizer чему-то о репозитории, поэтому последующие сессии требуют меньше токенов

Источник: microsoft.com

Контроллер меняет свои решения по мере поступления новых данных. В расчёт заявленной экономии включены и расходы на обращения TokenEconomizer к собственной модели.

Результаты испытаний

TokenEconomizer проверили на 277 задачах SWE-Bench из шести репозиториев, используя пять сочетаний агентов для программирования и моделей. Для каждого репозитория испытания начинались без истории предыдущих сессий.

В среднем расходы снизились на 18,4–30,9%. Снижение наблюдалось во всех 30 сочетаниях репозитория и агента или модели, без потери качества выполнения задач. Снижение усилия модели при рассуждении давало сопоставимую или даже большую экономию, но заметно ухудшало результаты.

TokenEconomizer работает вместе с неизменённым агентом для написания кода. Микронавыки добавляют усвоенные факты, отсечение инструментов сокращает набор загруженных инструментов, а вмешательство в цикл ошибок перенаправляет застрявшую работу. После каждой завершённой сессии обновляются все три компонента

TokenEconomizer работает вместе с неизменённым агентом для написания кода. Микронавыки добавляют усвоенные факты, отсечение инструментов сокращает набор загруженных инструментов, а вмешательство в цикл ошибок перенаправляет застрявшую работу. После каждой завершённой сессии обновляются все три компонента

Источник: microsoft.com

В начале работы расходы могут вырасти: плагину нужно накопить опыт. Но совокупные затраты становились ниже исходного уровня во всех репозиториях не позднее шестой задачи. Каждый из трёх механизмов экономил ресурсы отдельно, а наибольший эффект давало их совместное использование.

На SWE-Bench TokenEconomizer снизил среднюю стоимость задачи на 18,4–30,9% в пяти комбинациях агента и модели (слева), а Pass@1 вырос в четырёх из них (справа)

На SWE-Bench TokenEconomizer снизил среднюю стоимость задачи на 18,4–30,9% в пяти комбинациях агента и модели (слева), а Pass@1 вырос в четырёх из них (справа)

Источник: microsoft.com

Экономия сохранялась и в других проверках. При последовательной веб-разработке затраты на Web-Bench снизились на 16,0–21,2%. В задачах проверки безопасности, где каждая задача относилась к новому репозиторию, снижение составило 6,4–19,6%.

Накопленное изменение стоимости относительно значения по умолчанию для задач каждого репозитория при использовании Claude Code. Начав без истории, каждый репозиторий обходится дешевле уже к шестой задаче

Накопленное изменение стоимости относительно значения по умолчанию для задач каждого репозитория при использовании Claude Code. Начав без истории, каждый репозиторий обходится дешевле уже к шестой задаче

Источник: microsoft.com

Плагин для существующих агентов

TokenEconomizer задуман как лёгкий контроллер, который помогает агентам учитывать опыт не только при решении задач, но и при расходовании вычислительных ресурсов. Открытый плагин работает рядом с существующими агентами для программирования, не меняя их модели. Для него не нужен отдельный ключ API, а собранные сведения остаются на компьютере разработчика.

Авторы связывают дальнейшее развитие таких систем с адаптацией их работы к накопленному опыту. Плагин предлагает разработчикам и исследователям основу для изучения этого подхода.

Среди авторов работы — Аарон Дж. Лю, Вэйцзя Сюй, Чандэн Сингх, Цзысяо Чэнь, Дживана Прия Инала, Бин Ю, Ион Стоика, Мишель Галли и Цзяньфэн Гао. Цзяньфэн Гао указан как технический научный сотрудник и корпоративный вице-президент.

По оценке Dataist, TokenEconomizer нацелен на повторяющиеся расходы внутри одного репозитория: именно там агент может использовать накопленные сведения о прошлых задачах. Для задач в новых репозиториях экономия в испытаниях была ниже, чем при последовательной работе над одним проектом.

Новый ИИ-стартап Джордана Белфорта Tone хочет продавать как «Волк с Уолл-стрит» Надёжный ИИ строят не на прогнозах, а на ограничениях Claude создаёт интерактивные сайты прямо в графике на canvas, возвращая эпоху Flash с настоящим HTML Audible использует ИИ, чтобы помочь слушателям находить аудиокниги ИИ для компаний среднего бизнеса — не уменьшенная копия корпоративного ИИ Исследование под эгидой ООН: модели ИИ «слабы и ненадёжны» в вопросах климатологии Смогут ли роботы перенести операции при инсульте в удалённые больницы? США ужесточают экспортный контроль над ИИ-чипами, чтобы не дать китайским компаниям удалённо получать доступ к вычислительным мощностям Бывшие руководители Freshworks привлекли $53 млн, чтобы бросить вызов Salesforce и HubSpot с AI-Native CRM Apple запустила приложение, чтобы изучить, как люди используют ИИ для здоровья Индийский стартап Bharat Semi привлёк $24 млн на посевном раунде и метит на мировой рынок ИИ-сенсоров Число сообщений о созданных ИИ материалах сексуального насилия над детьми выросло на 8 400% за два года — данные Childlight Зачем Skydio создала беспилотник с асимметричной конструкцией Один скомпрометированный MCP-сервер может заставить ИИ-агента злоупотреблять инструментами, которым вы уже доверяете Claude Fable 5.2 от Anthropic не генерирует изображения, а рисует их Резервный банк Австралии: ИИ сильнее всего сказывается на молодых работниках — особенно в IT и обслуживании клиентов Эта ИИ-игрушка тамагочи превращает обычные вещи в капризных виртуальных питомцев Meituan выпустила агентную модель на 1,6 трлн параметров, ни разу не задействовав GPU Nvidia 160 вопросов — всего одна ошибка: набравший высший балл на экзамене налоговых бухгалтеров в Южной Корее признался, что списывал с помощью ИИ Где была служба безопасности Nvidia?

Ежедневные новости об ИИ

Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.

Только важное — каждый день

В Telegram