Как флеш-память сокращает бесполезные вычисления на GPU из-за повторного расчёта KV-кэша

Почему GPU пересчитывают кеш KV

При обработке диалога GPU сохраняют уже обработанный контекст в кеше KV, чтобы не пересчитывать его после каждого обмена сообщениями. Но память GPU ограничена. Когда старый контекст вытесняется, после возобновления сессии GPU может заново обработать ту же историю.

Без стратегии работы с кешем загрузка GPU на новых задачах может опускаться до 30%. При грамотном подходе она превышает 90%, а в лучшем случае достигает 95%, рассказал МакСевени.

При создании собственной инфраструктуры для ИИ-задач на GPU приходится более 80% бюджета. Поэтому, когда видеокарта тратит вычислительные ресурсы на повторный расчёт контекста, компания, по словам МакСевени, теряет значительные деньги.

NVMe-флеш-память для кеша KV

Индустрия уже ищет способы активнее переиспользовать кеш KV и выгружать его из памяти GPU. Среди примеров МакСевени назвал Mooncake, недавние методы DeepSeek и платформу контекстной памяти Nvidia CMX, встроенную в систему Vera Rubin. Он считает, что NVMe-флеш-память обходится дешевле, чем расширение серверной DRAM: она не уступает DRAM при хранении кеша KV, лучше масштабируется и стоит заметно меньше.

МакСевени описал процесс так: данные нужно как можно быстрее выгрузить с GPU, освободить его для другой задачи, а затем вернуть кеш, когда он снова понадобится.

От скорости обмена зависит, сколько пользователей сможет обслужить один GPU. Если система быстро выгружает кеш и загружает его обратно, одна видеокарта может поддерживать в четыре-пять раз больше пользователей. Компания, которой не хватает мощностей, сможет разместить столько дополнительных пользователей или ИИ-агентов на имеющихся серверах, прежде чем заказывать новый GPU.

Как Augmented Memory Grid распределяет кеш между серверами

Augmented Memory Grid от WEKA работает на программном обеспечении для хранения данных NeuralMesh. Система получает кеш KV с GPU-серверов, сохраняет его централизованно, а затем загружает на любой узел в дата-центре. Благодаря этому сессию можно остановить на одном сервере и продолжить на другом, не заставляя второй GPU пересчитывать историю.

По словам МакСевени, централизованная загрузка кеша KV позволила обслужить на тех же GPU в семь раз больше пользователей. За тот же период объём генерации вырос с 200 000 до 2 миллионов токенов — по сравнению с выгрузкой кеша в DRAM.

Однако оптимизация кеша не решает задачи на стороне приложения. По словам МакСевени, компаниям всё равно нужно оптимизировать приложение, рабочий процесс и пайплайн.

Решение о том, что оптимизировать первым — веса модели с помощью квантования и файн-тюнинга или обвязку вокруг модели, — зависит от конкретного клиента. Но большинство команд с серьёзным опытом работы с большими языковыми моделями уже научились сокращать галлюцинации и лишние вычисления, а также проверять результаты. Заметнее пробелы в знаниях об инфраструктуре: многие клиенты пока не знают, сколько свободных мощностей можно высвободить в их системах для обработки дополнительных запросов и обслуживания новых пользователей.

Как получить выгоду от кеша KV

По словам МакСевени, дело не в выборе между собственной инфраструктурой и размещённым сервисом: выгода достаётся тому, кто контролирует GPU. Это может быть компания, использующая собственное оборудование, или компания, которая арендует отдельные GPU и запускает на них собственное программное обеспечение.

Если компания платит поставщику базовой модели за каждый токен, основная часть выгоды от кеширования на стороне поставщика достаётся ему, а не клиенту, отметил МакСевени.

Этот расчёт становится важнее на фоне ограниченного предложения GPU. МакСевени привёл в пример сообщение Google клиентам: на каждый GPU, заказанный для Google Cloud, но ещё не установленный, уже есть покупатель на весь срок его службы. Клиентам без бронирования к декабрю не следует рассчитывать на доступ к вычислительным мощностям по запросу. Поставщики услуг, закупающие GPU из того же ограниченного запаса, столкнутся с таким же дефицитом.

МакСевени отметил, что собственная инфраструктура может не быть первым выбором компании, но со временем стать необходимостью.