Считать стоимость результата
Больше агентов не обязательно означает лучшее качество. По данным независимого оценщика Vals AI, команды агентов в бенчмарке Vibe Code Bench расходуют значительно больше токенов ради небольшого прироста скорости. Их работа обходится в 1,8–5,1 раза дороже, чем у одиночных агентов, при едва заметном улучшении качества. В начале года заказчики стремились увеличить расход токенов, а теперь финансовые команды, по словам Берковичи, ограничивают его и сопоставляют цену каждого запуска с ценностью полученной работы.
Берковичи отмечает, что отрасль по-прежнему выставляет счета за потребление токенов, а не за результат. Среди независимых оценщиков он назвал Vals AI и Epoch AI: они проверяют качество работы агентов в юридических, финансовых и медицинских задачах и считают стоимость завершённой задачи или сеанса. Чтобы этим оценкам можно было доверять, оценщики должны оставаться независимыми от разработчиков моделей и платформ для запуска агентов. Покупателям стоит следить за тем, сохраняется ли эта независимость.
Берковичи ожидает, что в будущем системы будут обрабатывать больше токенов по более низкой цене за единицу, снижая стоимость результата. Однако полностью посчитать расходы непросто. На отдельной дискуссии вице-президент Upwork по инженерии платформенной инфраструктуры Судханшу Бист рассказал, что шлюз компании для работы с ИИ отслеживает расходы на модели и распределяет их между командами и сервисами, но не учитывает затраты на обучение и файн-тюнинг моделей, человеческий труд по исправлению результатов и процессорные ресурсы, которые используют вызовы инструментов. Эти расходы отражаются в разных системах.
Как агенты используют память
В реальных производственных системах работа обычно распределяется между несколькими агентами: они могут координироваться между собой или получать задачи от одного агента, который запускает подзадачи. При передаче работы новым агентам нужен уже накопленный контекст.
Для этого используются два вида памяти. Краткосрочная включает кэш KV — ключи и значения внимания, которые модель вычисляет для каждого токена. Благодаря кэшу модель может продолжить генерацию, не обрабатывая заново всю последовательность. Долгосрочная память сохраняет контекст предыдущих сеансов, который может понадобиться агенту позднее — например, когда вернётся пользователь или другой агент.
Берковичи считает, что теперь важно не только сохранять информацию, но и обеспечивать быстрый доступ к ней. Непрерывная работа агентов усложняет эту задачу. Во время недавней волны взломов, названной «Чёрным октябрём», использовалась двадцатилетняя уязвимость PHP. Исследователи обнаружили, что атакующий трафик, по всей видимости, создавали автоматизированные агенты, работавшие круглосуточно. Защитникам в ответ тоже нужны агенты для постоянных фоновых задач. Поэтому обе разновидности памяти должны быть доступны в любое время: у кластера нет периода простоя, когда он мог бы заново собрать контекст.
Почему компании покупают лишние GPU
Берковичи назвал высокоскоростную память GPU и встроенную SRAM ускорителей Cerebras одними из самых дорогих ресурсов. В научных вычислениях давно приходится искать баланс между производительностью вычислений с плавающей точкой и объёмом памяти, но теперь он нарушен: длинный контекст и рои агентов быстро расходуют память. В результате компании платят за вычислительные мощности, которые не используют.
По мнению Берковичи, одна из причин — доступность капитала. Китайские лаборатории работают при аппаратных ограничениях и поэтому создают более экономные модели и системы инференса. Компании США, особенно в Кремниевой долине, располагают средствами, чтобы считать дополнительное оборудование решением по умолчанию. Берковичи считает вводящим в заблуждение высказывание генерального директора Nvidia Дженсена Хуанга о том, что чем больше покупаешь, тем больше экономишь: дополнительные ресурсы ведут к дополнительному потреблению.
Цены DeepSeek сделали этот подход особенно затратным. Конкурентам, которые хотят предлагать сопоставимую стоимость токена, приходится избавляться от повторной обработки контекста. Для этого вычисленный контекст нужно хранить в месте, которое дешевле высокоскоростной памяти, а затем загружать по мере необходимости.
Где хранить кэш KV
Разработчики часто называют памятью разные вещи. В системах агентов под ней обычно понимают логическое хранилище — например, базу данных, файловую систему, граф знаний или векторное хранилище, откуда контекст добавляется в промт. На уровне оборудования память — это состояние, которое модель формирует при обработке промта, в том числе кэш KV.
Для хранения этого состояния есть три уровня:
Если система поддерживает такую работу, сохранённый контекст можно загрузить из общего хранилища, а не вычислять заново. Тогда GPU сможет обрабатывать новые токены. В качестве примера масштаба таких потребностей Берковичи привёл кластер DeepSeek объёмом 100 пебибайт.
Как вернуть GPU неиспользуемые циклы
Сократить потери можно и за счёт изменений в программном обеспечении. Мегаядра объединяют операции в пайплайне инференса и уменьшают накладные расходы на передачу работы между ними. Cerebras, SambaNova, d-Matrix и Groq создали специализированные чипы для инференса, которые обеспечивают одному пользователю тысячи токенов в секунду. По словам Берковичи, мегаядра могут помочь GPU Nvidia и AMD приблизиться к такой скорости, если операторы выберут более быстрые ответы отдельным пользователям вместо одновременного обслуживания большего числа пользователей.
Современным системам приходится координировать миллионы ядер в параллельных стойках, тогда как раньше в процессорах речь шла о тысячах. Берковичи отмечает, что управлять миллионами операций каждые несколько микросекунд непросто, поэтому возможности повысить производительность и эффективность ещё остаются.
По оценке Dataist, дополнительные GPU не решают проблему повторной обработки контекста и не показывают полную стоимость работы агентов. Для сравнения систем важны цена завершённой задачи и расходы на память, вычисления и исправление результатов — однако, как показывает пример Upwork, эти данные пока могут находиться в разных системах.
Читайте также
Anthropic нацелилась на оценку до $1,4 трлн при выходе на биржу
Модели для принятия решений появились в Hugging Face
Google Gemini 4 Carbon стала общедоступной и обошла Claude Fable 5.2 и Opus 5.5 по цене API
Восемь стран и ведущие ИИ-лаборатории договорились о механизмах отключения систем в новой Парижской декларации
Десятки тысяч школьных автобусов с ИИ теперь автоматически штрафуют водителей, не остановившихся у выдвинутого знака «Стоп»
Ring, известная своими дверными видеозвонками, выпустила домашний дрон и робота-охранника для бизнеса
Adobe добавила ИИ-функции в свои продукты и запустила MCP-протокол
ИИ-проекты тормозят из-за затрат, а не нехватки вычислительных мощностей
Новая настольная ОС на Linux создана для тех, кто всерьёз увлечён ИИ
Лишь один город в США поддержал строительство нового дата-центра — и причина мрачна
Руководитель Hugging Face предупреждает: кибератаки могут сделать открытый ИИ чуть менее открытым
«Без раскадровки я как будто стою в нижнем белье на Центральном вокзале»: кино даёт отпор ИИ
Anthropic начала роуд-шоу перед планируемым IPO
Дискуссия о безопасности ИИ зашла не туда. Мы спросили 10 экспертов, чего действительно стоит бояться
Режим ChatGPT для подростков может лишить их базовой потребности
Долой защитные ограничения! Знакомьтесь с бунтарями, освобождающими чат-ботов от корпоративных хозяев
Подросток, готовивший теракт в Сиднее, рассказал суду, что радикализировался онлайн и использовал ИИ для планирования атаки
Новый ИИ-инструмент Google DeepMind доказал безопасность протокола Signal
Qantas сократит 850 рабочих мест в Австралии и передаст часть работы Индии в рамках ИИ-реорганизации
Австралия введёт обязательную отчётность после взлома OpenAI, чтобы не дать ИИ выйти из-под контроля
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram