Gartner: к 2028 году агенты подорожают в пять раз, даже если токены станут дешевле. Как сдержать расходы

По словам Уилла Соммера, старшего директора-аналитика Gartner, цены на токены не просто снижаются — разрыв между ними растёт.

Почему дешёвые токены увеличивают расходы

У парадокса инференса две основные причины.

Первая — действия лабораторий, разрабатывающих модели. Соммер отметил, что генерировать токены становится экономичнее. Однако вместо того, чтобы сохранить полученную экономию, лаборатории вкладывают её в новые модели, которым нужно больше вычислительных ресурсов, а значит, каждый токен обходится дороже.

Старые возможности ИИ заметно дешевеют, а передовые модели дорожают. В качестве примера Соммер привёл Anthropic Fable: токены этой модели стоят дороже, чем у Opus.

Вторая причина — рост потребления. Благодаря более эффективной работе с токенами становятся практически применимы сложные задачи, на которые их уходит гораздо больше. По словам Соммера, ИИ-агентам требуется в 5–30 раз больше токенов на задачу, чем обычным чат-ботам.

Оба фактора усиливает конкуренция. Компании, которые хотят не отставать от соперников, внедряют более сложные сценарии. Для них нужны более способные и дорогие модели, а также намного больше токенов, чем прежним поколениям ИИ-систем.

Расходы будут расти волнами

Gartner не ожидает, что расходы будут равномерно увеличиваться до 2028 года. Компаниям приходится искать баланс между сокращением затрат и конкуренцией, поэтому траты меняются и колеблются после выхода новых моделей.

По словам Соммера, первая волна агентных возможностей вызвала весной резкий рост расходов — отчасти из-за увлечения максимальным расходованием токенов. Сейчас компании переходят к экономии.

Gartner ожидает новых волн расходов по мере развития более способных моделей для рассуждений, моделей мира и других технологий ИИ.

Компании сокращают расходы по-разному. Согласно сентябрьскому опросу VB Pulse, в котором участвовали 109 подходящих по критериям респондентов, у 21% компаний, использующих платформу оркестрации, нет автоматического механизма остановки расходов агентов на токены. Ещё 31% направляют типовые массовые задачи агентов более дешёвым моделям, чтобы удерживать затраты.

Оценка роста в пять раз основана на эконометрической модели Gartner Tokenomics Forecast. По словам Соммера, она прогнозирует изменение стоимости токенов во времени и учитывает более 300 входных параметров. Модель принимает во внимание и повышение эффективности расходов на токены, и резкий рост их потребления по мере применения ИИ к более сложным задачам. Решения, которые учатся или работают в масштабах всей компании либо между несколькими областями, требуют значительно больше токенов для запуска рабочих процессов.

Пять изменений в архитектуре

Gartner предлагает компаниям рассмотреть пять изменений, которые помогут сдержать парадокс инференса.