ИИ-агенты расходуют неприлично много электричества

В эпоху ИИ-агентов уже недостаточно спрашивать, сколько электричества уходит на один промт чат-бота. Современные модели часто самостоятельно выполняют сложные задачи и состоят не только из больших языковых моделей, но и из множества инструментов и программных слоёв. Всё это требует гораздо больше энергии, чем обычный чат-бот.

Из-за этого подсчитать общий расход электричества ИИ-агентов намного сложнее. Крупнейшие частные лаборатории почти не раскрывают данные о собственном энергопотреблении, поэтому точно оценить влияние ИИ-помощников на электросети пока невозможно.

В публикации, на которую обратила внимание журналистка Wired Молли Тафт, климатолог Зик Хаусфатер решил самостоятельно оценить энергозатраты своих обычных сеансов с Claude Code — агентом для программирования, разработанным Anthropic.

Он подсчитал число обработанных агентом токенов и пришёл к выводу, что среднее суточное потребление составляет от 1,2 до 5,9 кВт·ч. Для одного пользователя это много: такой расход превышает энергопотребление двух холодильников, работающих круглосуточно.

Основная часть токенов — 3,2 млрд за восемь недель — ушла на повторное чтение агентом собственной рабочей памяти. Это происходит при каждом новом шаге инструмента.

Когда агент выполняет команду, читает файл или обращается к инструменту, модель заново обрабатывает весь накопившийся контекст. Текст, который видит пользователь, то есть вывод модели, составил лишь около 0,4% всех обработанных токенов.

Около 96% токенов пришлись на чтение кэша: агент заново загружал собственный контекст на каждом из 14 000 шагов. Это существенно влияет на оценку энергозатрат, поскольку повторная обработка токена из кэша обходится дешевле, чем обработка нового токена.

Если перенести эти результаты на год, Хаусфатер оценивает выбросы от такой работы как немного большие, чем от использования электрической сушильной машины, и примерно вдвое меньшие, чем от поездки на электромобиле на 11 500 миль по Калифорнии.

Для одного человека такой расход может показаться небольшим, но при большом числе пользователей он быстро складывается. Кроме того, это новый источник выбросов в период, когда глобальная температура растёт, а цели по сокращению выбросов всё сильнее отодвигаются.

Точный климатический ущерб пока остаётся неясным. Как отмечает Wired, исследователь энергопотребления ИИ-агентов Борис Гамазайчиков назвал расчёт Хаусфатера добросовестной попыткой, но указал, что он основан на устаревших данных. Собственное исследование Гамазайчикова об энергопотреблении ИИ-агентов должно выйти позже в сентябре. После публикации оно может заметно изменить представление о реальной цене таких систем.