Nvidia призывает строить ИИ-фабрики, пока графические процессоры простаивают

Из 102 респондентов, соответствовавших критериям опроса, 68 запускали ИИ в производственной среде и указали уровень загрузки GPU. Пятьдесят пять из них — 81% — сообщили о средней загрузке не выше 50%. При этом 71% компаний из этой группы планировали в течение 12 месяцев внедрить новую, дополнительную или заменяющую платформу ИИ-инфраструктуры.

Зачем компаниям новая платформа, если действующая использует не все доступные GPU? Замена может улучшить планирование ресурсов, интеграцию или экономику уже запущенных задач. Новая платформа может понадобиться для работы, с которой нынешняя инфраструктура справляется плохо.

Гендиректор Nvidia Дженсен Хуанг призывает компании строить собственные ИИ-фабрики. В выступлении на GTC Berlin 21 октября он сказал, что для участия в экономике ИИ компаниям нужно не только потреблять ИИ, но и производить его.

ИИ-фабрика — это уже не только вычислительные мощности. HPE делает ставку на управляемые API и интеграцию с протоколом Model Context Protocol (MCP). VAST объявила о совместном с Nvidia наборе Agent Sandbox Foundation Stack: он должен сохранять состояние ИИ-агента, доступ к данным и журналы аудита, даже когда доступные вычислительные мощности меняются. В беседе с Nebius перед мероприятием её команда по безопасности отметила конфиденциальные вычисления на GPU: они позволяют защищать данные и веса модели во время обработки, а также проверять среду до передачи ключей шифрования.

В решениях об инфраструктуре всё большую роль играют интеграция и безопасность. Получить вычислительные мощности — лишь один шаг. Чтобы превратить способности модели в полезную работу, нужно принять ещё ряд архитектурных решений.

Когда ИИ-агенты получают более длинные задания, нужно определить, как они обращаются к корпоративным знаниям, сохраняют ход работы, используют разные модели и восстанавливаются после ошибок. Один из ключевых элементов такой архитектуры — память. Оценивать совместную работу её компонентов можно по стоимости успешно выполненной задачи.

Данных об отдаче от инфраструктуры не хватает

Среди всех 102 участников сентябрьского опроса 63% планировали в течение года внедрить новую, дополнительную или заменяющую платформу. Лишь 10% сообщили о показателе отдачи от ИИ-инфраструктуры, который проверили и одобрили финансовые руководители. Среди тех, кто планировал переход, такого показателя не было у 91%. Но и среди респондентов, не собиравшихся менять платформу, доля компаний без финансово подтверждённой оценки составила 89%. Статистически значимой разницы между группами не обнаружили.

Компании принимают решение о следующей платформе, хотя финансовый отдел ещё не подтвердил отдачу от уже используемой ИИ-инфраструктуры.

У респондентов, чья основная платформа работала в производственной среде, средняя оценка общей удовлетворённости составила 4,0 из 5,0. Простоту внедрения оценили на 3,9, соотношение цены и качества — на 3,6.

Платформа может хорошо справляться с повседневной работой и получать высокие оценки, но оставлять открытым более трудный вопрос: стоит ли результат всей работы затрат на неё?

Для приложений с ИИ-агентами центральным рабочим показателем может стать стоимость успешно выполненной задачи. В расчёт следует включать инференс, поиск информации, хранение данных, повторные попытки и проверку человеком. Затем финансовая команда должна сопоставить эти расходы с полученной ценностью, используя согласованную исходную точку для сравнения.

Для успешного выполнения нужен стандарт качества. Неправильно закрытое обращение в службу поддержки нельзя считать успехом, а расходы на исправление изменения в коде следует включать в стоимость его выполнения.

Архитектура определяет стоимость задачи

Участники сентябрьского опроса назвали несколько факторов, влияющих на выбор инфраструктуры. Интеграцию с существующим облаком и дата-стеком выбрали 48%, производительность — 42%, доступность GPU — 35%. Разница между интеграцией и производительностью статистически значимой не была.

Архитектурный вопрос состоит в том, на каком этапе конкретный рабочий процесс теряет время, повторяет работу или расходует ресурсы без улучшения результата. Помочь может более способная модель. Но возможны и другие решения: улучшить путь к информации или слой контекста, изменить конфигурацию обслуживания моделей либо чётче распределить работу между моделями и инструментами.

Память — это три связанные задачи

Словом «память» называют разные вещи. Если считать их одной задачей, принимать решения об инфраструктуре становится сложнее.

Институциональная память — это долговременные знания организации: правила, записи, рабочие процедуры и прошлые решения. Память задачи ИИ-агента — состояние, необходимое для продолжения работы: что уже произошло, что осталось сделать и к чему привели предыдущие действия. Память инференса — ресурсы и кэшированные вычисления, используемые при обслуживании моделей.

Корпоративные знания должны быть актуальными и подходить для задачи, а доступ к ним должен соответствовать установленным разрешениям. Память задачи должна сохранять полезный ход работы, не превращая временный вывод в официальное знание организации. Методы работы с памятью инференса нужно оценивать именно на тех рабочих нагрузках, для которых они предназначены.

В рекомендациях Anthropic по проектированию контекста структурированные заметки за пределами контекстного окна описываются как один из способов сохранять информацию во время длительной работы. Автоматическое кэширование префиксов в vLLM относится к другому уровню: оно позволяет повторно использовать вычисления, если запросы начинаются с одинакового промта. Документация vLLM уточняет, что это сокращает объём работы по обработке промта, но не время генерации новых токенов.

Сентябрьский опрос касается памяти инференса. Nvidia и Dell чаще всего выбирали для использования или оценки: 41% и 39% соответственно. Разница между ними статистически незначима. Инструменты с открытым исходным кодом для кэширования ключей и значений и методы повышения эффективности на уровне моделей выбрали по 21% респондентов. Ещё 16% не занимались ограничениями памяти инференса или не знали о них.

Связь между тремя видами памяти, вероятно, станет более значимым архитектурным вопросом. Командам предстоит определить, что ИИ-агент должен сохранять, что — получать заново, чем он может делиться и когда результат становится частью долговременных записей организации.

Где выгодны небольшие модели

Я уже высказывал мнение, что небольшие языковые модели займут большую часть длинного хвоста корпоративных задач с ИИ. Их ценность будет зависеть от места запуска, типа выполняемой работы и взаимодействия с корпоративным контекстом, другими моделями и людьми.

Практическая проверка проста: справляется ли небольшая модель, встроенная в подходящий участок рабочего процесса, с заданными требованиями к качеству при меньших общих затратах?

Для ограниченной задачи может хватить небольшой модели. Более сложный этап может потребовать другой модели или решения человека. Система должна иметь критерии выбора и подтверждения того, что выбранная конфигурация обеспечивает нужное качество при допустимой стоимости.

Эту оценку следует включить в жизненный цикл разработки программного обеспечения. Командам нужно проверять выбор модели, поиск информации, управление состоянием задачи и передачу работы человеку вместе — на примерах, отражающих реальные задачи. Проверки нужно повторять при изменении любого компонента.

Цена токенов — лишь один из факторов. В сентябрьском отчёте стоимость миллиона токенов назвали причиной выбора платформы 23% респондентов. В августе таких было 11%. Разница между двумя месячными выборками статистически значима.

Итоговая стоимость задачи также зависит от расхода токенов, повторных попыток, использования инструментов и вмешательства человека. Поэтому выбирать модель нужно с учётом всего рабочего процесса, считая знаменателем успешно выполненные задачи.

Руководителям и разработчикам нужен общий показатель

Ответы респондентов разных должностей показывают, что обсуждение инфраструктуры начинается с разных приоритетов.

Совокупную стоимость владения назвали фактором выбора 52% вице-президентов и директоров против 4% отдельных специалистов. По тесту отчёта для небольших независимых групп эта разница статистически значима. Отдельные специалисты чаще всего выбирали интеграцию — 58%.

Руководителям и разработчикам нужно связать экономические цели с техническими решениями, влияющими на стоимость. Руководителям важно понимать, к каким экономическим последствиям приводит архитектура. Разработчикам нужен показатель стоимости, связанный с решениями, на которые они могут влиять, чтобы сопоставлять производительность и расходы.

Стоимость успешно выполненной задачи может связать эти вопросы. Она позволяет проверить, достаточно ли улучшения от изменений в поиске информации, выборе модели, кэшировании или управлении состоянием задачи, чтобы оправдать затраты.

Найдите узкое место до покупки новой инфраструктуры

Принимать решение о следующей платформе следует, начав с конкретного рабочего процесса ИИ-агента и определив, что ограничивает его производительность.

Руководителям корпоративных ИИ-проектов стоит считать память, интеграцию и измерение результатов частью проектирования инфраструктуры. Начать можно с таких шагов:

Более совершенные модели расширяют круг задач, за которые могут браться ИИ-агенты. Инфраструктура, которую оценивают по результатам работы, помогает сделать её надёжной и оправданной с точки зрения затрат.

В материале также сообщается о саммите Agentic Infrastructure Stack Summit, который VentureBeat проведёт 28 октября в Сан-Франциско. Там планируют обсудить экономику инференса, в том числе способы обходиться меньшим объёмом памяти и меньшим числом токенов.

Примечание об исследовании: данные взяты из сентябрьского отчёта VB Pulse об ИИ-инфраструктуре и вычислениях, опубликованного VentureBeat Intelligence. В опросе участвовали 102 респондента из организаций как минимум со 100 сотрудниками, в том числе консультанты, отвечавшие за своего основного клиента. Результаты основаны на самоотчётах добровольно отобравшей себя группы. Данные о загрузке GPU относятся к 68 участникам, использовавшим ИИ в производственной среде и указавшим конкретную цифру: 55 сообщили о средней загрузке не выше 50%, а 13 — о более высокой. Сравнение по должностям основано на ответах 23 вице-президентов и директоров и 26 отдельных специалистов.

Данные о стоимости токенов за август и сентябрь получены от разных групп респондентов; разница между ними статистически значима. В вопросе о памяти инференса учитывались и использование, и оценка технологий. Выводы об институциональной памяти, памяти задач ИИ-агентов и небольших моделях — это интерпретации аналитика, а не результаты, напрямую проверенные опросом.