Nvidia и Oracle расширяют облачную инфраструктуру Vera Rubin, обещая эффективнее загружать GPU, простаивающие у корпоративных клиентов

Актуальность этого вопроса подчёркивают данные VentureBeat Intelligence — внутреннего исследовательского подразделения VentureBeat. Согласно его последним результатам, компании используют GPU с низкой загрузкой.

Низкая загрузка GPU проверяет обещания эффективности

В ежемесячных опросах VentureBeat Intelligence за июль, август и сентябрь 79% из 218 респондентов сообщили, что загрузка их GPU не превышает 50%. При этом 70% этой группы планируют изменения платформы.

В исследовании участвовали организации как минимум со 100 сотрудниками, в том числе консультанты, отвечавшие от имени клиентов. Результаты основаны на самоотчётах, а не на техническом аудите оборудования.

Для покупателей оборудования Nvidia и Oracle это означает, что вместе с доступом к более мощным чипам нужна диагностика причин, по которым имеющиеся ресурсы не выполняют полезную работу.

Если GPU простаивает, пока CPU исполняет код ИИ-агента, это одна проблема: более быстрый процессор может помочь. Если же для GPU просто нет задач, ускоренный CPU спроса не создаст. А когда ограничение связано с удалённым сервисом, доступом к базе данных или устройством приложения, одна лишь замена процессора может не устранить причину.

Это возможные объяснения низкой загрузки, которые компании должны проверять. Сами результаты опроса не устанавливают причин.

Различаются и потребности разработчиков базовых моделей и команд, создающих корпоративные приложения. Разработчику, которому постоянно нужны вычисления для обучения и инференса, могут потребоваться дополнительные мощности и более быстрая инфраструктура вокруг GPU. Компании с низкой загрузкой ускорителей сначала стоит выяснить, какие задачи она перенесёт на новую систему и почему они будут обходиться там дешевле.

Поэтому проверять нужно не только скорость нового чипа. Важно понять, снизит ли предложенная конфигурация общую стоимость выполнения задачи приемлемого качества — при нужных бизнесу времени ответа и надёжности.

Зачем ИИ-агентам нужны CPU

Nvidia описывает Vera как процессор для задач вокруг запуска моделей: координации ИИ-агентов, исполнения кода в изолированных средах, обработки данных и поддержки обучения с подкреплением.

Модель может выбрать действие, но для его выполнения и возврата результата требуется другое программное обеспечение. Если эта работа становится узким местом, улучшение самой модели не обязательно ускорит работу всего ИИ-агента.

В техническом сообщении Oracle говорится, что Vera доступна на выделенных физических серверах и в гибких виртуальных машинах. Отдельный вариант позволяет развернуть процессорные сервисы независимо от GPU-инфраструктуры.

Oracle приводит заявление Nvidia: на задачах CPU, связанных с ИИ-агентами, Vera может работать до 80% быстрее ведущих процессоров архитектуры x86. При этом Oracle уточняет, что речь идёт о результатах тестов платформы Nvidia, а не проверке самих экземпляров OCI. Покупателям стоит считать эту цифру бенчмарком поставщика, а не подтверждённым улучшением для своих приложений.

Компаниям, рассматривающим переход, стоит сравнить один и тот же рабочий процесс ИИ-агента на текущей инфраструктуре и на Vera. В тесте нужно измерить долю успешно выполненных задач, задержки на всём протяжении процесса, потребление CPU и GPU, а также общую стоимость — включая плату за API моделей.

Лабораториям ИИ и компаниям нужны разные ресурсы

Самый заметный из названных клиентов — OpenAI.

В совместном сообщении технический директор OpenAI по вычислительной инфраструктуре Удай Руддарраджу говорит, что компания переводит Vera в производственную эксплуатацию в OCI для масштабной работы с задачами изолированной среды для ИИ-агентов.

Этот пример показывает, для чего инфраструктура может понадобиться разработчикам базовых моделей. Но потенциальными клиентами могут быть и организации, которые не обучают собственные передовые модели.

Среди задач для процессорной платформы Oracle называет поиск по данным, аналитику, координацию ИИ-агентов и управление парком GPU. Такие нагрузки встречаются и во внутренних корпоративных системах ИИ.

При оценке потребностей важнее учитывать характер задач, чем размер компании. Предприятие, которое обрабатывает много кода ИИ-агентов или выполняет большой объём операций поиска по данным, может оценить Vera и без обучения базовой модели. И наоборот: крупной компании, которая в основном обращается к внешним моделям, может быть незачем покупать собственный большой парк GPU.

Предложение рассчитано на оба рынка, но разные его части отвечают на разные запросы. Расширение Supercluster в первую очередь предназначено для особо ресурсоёмких задач с моделями. Отдельные CPU — более целевой вариант для компаний, которым нужно ускорить программное обеспечение вокруг моделей.

Более компактная конфигурация Rubin ещё в планах

Помимо уже доступных систем NVL72, Oracle планирует конфигурацию Rubin NVL8 с восемью GPU и процессорами Intel Xeon. Она предназначена для обучения, файн-тюнинга и инференса, сохраняя совместимость с приложениями для x86.

Это более компактный вариант по сравнению со стойкой на 72 GPU. Однако NVL8 пока только запланирована и не объявлена общедоступной.

Oracle также заявляет, что её инфраструктура может переключаться между задачами обучения и инференса и поддерживать последующие платформы Nvidia. Компания связывает эту гибкость с возможностью использовать мощности по мере изменения потребностей.

При закупках важно различать доступные продукты и планы расширения. Строительство инфраструктуры мощностью в несколько гигаватт описывает амбиции поставщиков, но не означает, что отдельному предприятию нужно разворачивать систему такого масштаба.

Что ещё нужно проверить покупателям

Опубликованных данных недостаточно, чтобы рассчитать ожидаемую экономию для конкретного клиента: в них нет цен и показателей производительности для отдельных типов задач.

Нужно также уточнить доступность по регионам. Компании объявили о запуске, но в сообщении Oracle о процессорах Vera сказано, что в этом квартале они появятся в отдельных регионах. Покупателям следует проверить, какие типы экземпляров, локации и объёмы мощности им действительно доступны.

Если GPU компании часто простаивают в ожидании работы CPU, Vera предлагает конкретную конфигурацию, которую можно протестировать. Если же существующие GPU недогружены из-за нехватки задач, сначала нужно определить полезные сценарии, пересмотреть обязательства по мощности и выяснить, улучшит ли новая платформа экономику.

Nvidia и Oracle предлагают дополнительные вычислительные ресурсы и возможность независимо балансировать отдельные части системы ИИ. Решение о покупке зависит от того, сможет ли компания показать, что эта гибкость приводит к выполнению большего числа задач.