Почему выбор ИИ-модели стал инфраструктурным решением

Разные нагрузки требуют разных способов развёртывания

Оплата инференса за токены удобна, когда важна гибкость потребления. Выделенные мощности могут лучше подойти задачам с устойчивым спросом или строгими требованиями к доступности ресурсов, задержке, пропускной способности и предсказуемости расходов.

У этих подходов разные приоритеты:

Managed Compute в Microsoft Foundry — управляемый вариант развёртывания, который оставляет клиентам решения, влияющие на производительность инференса и его стоимость: выбор модели, ускорителя, объёма мощностей и рабочего режима. При этом Microsoft берёт на себя значительную часть обслуживания среды запуска. По мере изменения требований компании могут сочетать управляемые вычисления в Foundry с другими способами развёртывания.

Как выделенные мощности меняют расчёт стоимости

Перевод инференса открытых моделей в производство меняет и экономику, и выбор технологий. При выделенных мощностях ресурсы планируют с учётом ожидаемых требований нагрузки, а не полагаются только на гибкую оплату по фактическому потреблению. Это помогает оценивать доступную ёмкость, задержку и пропускную способность, а ответственным за бюджет — видеть связь между потреблением инфраструктуры, загрузкой, производительностью и расходами.

По мере роста использования ИИ компании могут сравнивать нагрузки по загрузке, производительности, предсказуемости и стоимости, а не только по заявленной цене токена или инфраструктуры. В расчёт совокупной стоимости владения входят стоимость часа работы GPU, его загрузка, пропускная способность и объём выполненной работы. Поэтому важны особенности нагрузки и ожидаемый спрос: от них зависит фактическая цена токена или запроса на инференс.

При расчёте важно учитывать несколько показателей:

Меньше операционной работы — больше времени на разработку

Запуск открытых моделей на выделенной инфраструктуре может требовать настройки и оптимизации программной среды, обслуживания программного обеспечения, устранения уязвимостей и установки обновлений безопасности. Управляемая среда запуска сокращает значительную часть этой работы. Команды сохраняют контроль над решениями, влияющими на производительность и стоимость нагрузки, и тратят меньше времени на управление базовой инфраструктурой.

Модели предъявляют разные требования к инфраструктуре

Разным моделям нужны разные инфраструктурные ресурсы, что отражается на производительности, требованиях к GPU и стоимости нагрузки. Видеопамять расходуется и на саму модель, и на число пользователей, которых она обслуживает.

AMD Instinct MI300X — ускоритель с большим объёмом памяти, доступный в управляемых вычислениях Foundry. На каждом GPU установлено 192 ГБ высокоскоростной памяти HBM3, а в конфигурации из восьми GPU — около 1,5 ТБ. Такой объём позволяет запускать в Foundry модель Z.ai GLM 5.3 Flash с 320 млрд параметров всего на четырёх ускорителях MI300X и использовать контекстное окно в 512K. Для той же модели меньшее число GPU означает меньше выделенных ресурсов и более низкую стоимость. Основой программной среды служит ROCm — программный стек AMD для GPU с открытым исходным кодом; он позволяет запускать открытые модели и инструменты для их обслуживания на ускорителях Instinct в Foundry.

Выбор ускорителя влияет на то, насколько требования нагрузки к инфраструктуре, производительности и затратам будут соответствовать друг другу.

Пример AT&T

Инициатива AT&T OTel2.0, ориентированная на телекоммуникационную отрасль, использовала управляемые вычисления в Foundry для обработки больших объёмов отраслевых данных и применения разных открытых моделей на разных этапах работы.

По словам Марка Остина, вице-президента по науке о данных и ИИ в AT&T, Managed Compute в Foundry предоставил командам доступ к GPU-мощностям в нужном масштабе и позволил сосредоточиться на развитии OTel2.0, а не на управлении инфраструктурой.

AT&T не стала переводить все ИИ-нагрузки на одну модель или единую конфигурацию инфраструктуры. Компания использовала несколько открытых моделей и архитектур GPU — всего 530 ускорителей, около 430 из которых были AMD Instinct MI300X. С помощью управляемых вычислений на них обработали примерно 1 трлн токенов и создали синтетические обучающие данные. AT&T сообщила, что сэкономила десятки миллионов долларов, используя открытые модели для генерации данных вместо передовых моделей.

Пример показывает, что разные части рабочей нагрузки могут требовать разных моделей и архитектур GPU. ИТ-директорам приходится подбирать сочетание модели, инфраструктуры и мощностей так, чтобы обеспечить нужную производительность при подходящих затратах.

Управление портфелем ИИ-инфраструктуры

По мере перехода корпоративного ИИ в производство компаниям нужно для каждой нагрузки выбирать сочетание модели, способа развёртывания и инфраструктуры, которое обеспечивает нужный баланс производительности, предсказуемости, загрузки и стоимости.

Для инференса открытых моделей на выделенных мощностях управляемые вычисления в Foundry объединяют доступ к этим мощностям с контролем клиента над параметрами нагрузки. AMD Instinct MI300X предлагает вариант инфраструктуры с большим объёмом памяти для требовательных моделей и задач, в том числе для оптимизированных конфигураций с Z.ai GLM 5.3 Flash. Такой подход даёт ИТ-директорам основу для контроля расходов на инфраструктуру, планирования мощностей и оценки совокупной стоимости владения и отдачи от инвестиций по мере роста использования ИИ.

По оценке Dataist, примеры Foundry и AT&T показывают, почему инфраструктуру для корпоративного ИИ приходится планировать с учётом конкретных нагрузок, а не только цены модели или токена. При этом экономический результат зависит от загрузки GPU и выполненного объёма работы, а заявленная экономия AT&T относится к её собственному случаю.