ИИ-проекты тормозят из-за затрат, а не нехватки вычислительных мощностей

В опросе VB Pulse об инфраструктуре и вычислениях для ИИ участвовали 156 человек, которые занимаются ИИ в организациях со штатом не менее 100 сотрудников или консультируют такие организации.

Рост расходов на дата-центры беспокоит и инвесторов. По сообщению Fortune, 5 ноября акции технологических компаний резко упали на фоне опасений, что результаты промежуточных выборов могут замедлить строительство ИИ-дата-центров. Однако опрос VentureBeat проводился в октябре и касался задержек проектов за предыдущий год, а не ожиданий по будущим вычислительным мощностям.

Как оценивать стоимость ИИ-систем

Даже если бюджет на ИИ растёт, компаниям нужно понимать, за что именно они платят. Прототип может использовать модель, которая окажется слишком дорогой при масштабировании. А многократные запросы ИИ-агента способны увеличить расходы на поиск данных.

Открытый исходный код и открытые интерфейсы позволяют менять модели и поставщиков, не перестраивая каждую интеграцию. Коммерческие поставщики могут помогать эксплуатировать такие системы. Но выбирать между вариантами нужно по тому, как они влияют на стоимость и качество выполненной работы.

Как Uber сократила стоимость очистки флагов на 90%

На октябрьском саммите VentureBeat Agentic Infrastructure Stack вице-президент Uber и выдающийся инженер Удай Киран Медисетти рассказал, как компания снизила расходы на очистку флагов функций. Uber проверяет управляемых ИИ-агентов на реальных задачах и отслеживает показатели качества, включая откаты изменений и инциденты. После сравнения моделей и выбора подходящей стоимость одной такой очистки сократилась на 90%.

В опубликованном Uber описании также говорится, что расходы можно оценивать по результату — например, по завершённой проверке или очистке. Медисетти привёл показатель для конкретной задачи Uber. Другим компаниям он предлагает проверять выбор модели на реальной работе и учитывать рядом с затратами качество результата.

Финансовую отдачу измеряют немногие

Из 91 участника, чьи организации полностью или частично отслеживают отдачу от вложений в ИИ-инфраструктуру, 34% сообщили, что финансовая команда проверяла и одобряла расчёт такой отдачи. Это около 20% всех 156 респондентов.

Отраслевые организации пытаются сделать оценку расходов и результатов сопоставимой. Джей Ар Стормент, исполнительный директор Tokenomics Foundation — группы при Linux Foundation, разрабатывающей открытые стандарты для измерения затрат на ИИ и отдачи от них, — описал необходимость единого учёта, который связывает работу технологий с ценностью для бизнеса. По его словам, эта работа напоминает ведение реестра и отличается от проектов, которые связывают ИИ-агентов с инструментами и моделями.

Стормент также возглавляет FinOps Foundation. Она уже выпускает FOCUS — общепринятый формат данных о счетах и использовании ресурсов, полное название которого — FinOps Open Cost and Usage Specification. Следующий шаг — связать затраты и использование с телеметрией, результатами и классификацией ценности. Это помогло бы понять, что именно рабочий процесс дал за потраченные деньги.

Открытые модели не гарантируют простой смены поставщика

В октябрьском опросе 56% участников сказали, что их организации собираются в ближайшие 12 месяцев внедрить новую, дополнительную или заменяющую платформу вычислений для ИИ. Выбор, сделанный на этапе экспериментов, может потребоваться пересмотреть при расширении внедрения.

Открытые веса — один из факторов такого выбора. 17% респондентов сообщили, что их организации используют модели с открытыми весами в рабочих задачах; ещё 33% применяют их только внутри компании или в экспериментах. Однако публикация весов сама по себе не означает, что лицензия модели относится к открытому исходному коду. Результаты опроса также не показывают, что такая модель будет дешевле для конкретной задачи.

Самостоятельно управляемую инфраструктуру с открытым исходным кодом используют реже. Среди участников, назвавших одну из предложенных платформ, 7% сообщили, что их организация применяет такой стек в рабочей среде. Только 2% всех респондентов назвали его основной платформой вычислений для ИИ. Эти ответы о платформах не показывают, какие компоненты с открытым исходным кодом входят в управляемые сервисы и готовые программные продукты.

Открытый интерфейс, реализация с открытым исходным кодом и опубликованные веса дают разные виды гибкости. Покупателям стоит отдельно проверять лицензию, совместимость и поддержку, а не считать открытость одним общим свойством.

Один из способов переключаться между моделями — шлюз ИИ, который распределяет запросы и применяет правила. Сооснователь и технический директор Tetrate Варун Талвар описал такую программу как слой, работающий с внешними интерфейсами программирования моделей, моделями на внутренних серверах, инструментами и средствами безопасности. Tetrate развивает Agent Router, ранее называвшийся Envoy AI Gateway. В сентябре он вошёл в Agentic AI Foundation. Этот слой обрабатывает трафик и решает другую задачу, чем управление рабочими нагрузками Kubernetes и проекты инференса, такие как vLLM и llm-d.

По словам Талвара, обработка трафика остаётся открытой, а Tetrate продаёт средства управления: многопользовательский режим, администрирование и аудит. Покупателям нужно выяснить, где проходит эта граница, насколько трудно будет сменить поставщика и позволит ли автоматическое распределение запросов сэкономить без потери качества. Талвар советует до включения автоматического выбора модели по умолчанию оценить телеметрию рабочих нагрузок, расходы и качество, включая стоимость повторных запросов и проверки человеком.

Исполнительный директор Agentic AI Foundation Мазин Гилберт рассказал о конкурирующих компаниях, которые разрабатывают протоколы, шлюзы, навыки и изолированные среды выполнения. ИИ-агенты разных команд могут использовать разные удостоверения и иметь разные права доступа. Сам протокол взаимодействия с инструментом не определяет, кому разрешено им пользоваться.

Гилберт предостерёг от того, чтобы считать каждый новый проект фонда уже сложившимся стандартом. При оценке проектов он обращает внимание не на число загрузок, а на разнообразие участников. Покупателям стоит учитывать независимых разработчиков, работающие интеграции и зрелость проекта наряду с демками поставщика.

Расходы не заканчиваются на инференсе модели

Выбор модели — лишь часть экономики ИИ-системы. ИИ-агенты могут многократно запрашивать корпоративные данные, сохранять контекст и создавать журналы мониторинга. Каждое из этих действий расходует ресурсы, даже если сам вызов модели обходится дёшево.

Исполнительный директор OpenSearch Software Foundation Бьянка Льюис отметила риск: компания может выбрать платформу данных, а затем обнаружить, что из-за цены, возможностей или особенностей эксплуатации нужна дорогая перестройка системы. На сентябрьской конференции OpenSearchCon в Сан-Хосе обсуждали, как собирать контекст из разных систем и не допускать, чтобы ИИ-агенты получали доступ к данным, которые запрещено видеть их пользователям.

Генеральный директор Amazon OpenSearch Service Тиа Уайт из AWS рассказала об экосистеме разработчиков и поставщиков услуг вокруг OpenSearch. Intel показала аппаратные оптимизации, внесённые в основной открытый проект, а не выпущенные только в составе закрытого продукта. Поэтому при оценке открытых платформ командам, отвечающим за платформу и данные, нужно учитывать не только задержку поиска, но и повторные запросы, хранение, мониторинг, управление доступом и гибкость при дальнейших изменениях.

OpenShift 5 добавляет ИИ в управление кластерами

Затраты на инфраструктуру включают и работу по эксплуатации платформы. Анонс Red Hat OpenShift 5 предусматривает инструменты с поддержкой ИИ для управления кластерами Kubernetes. На предварительном брифинге директор по продуктам Ашеш Бадани рассказал об анализе перед обновлением кластера, рекомендациях по устранению проблем и создании панелей управления с помощью команд на естественном языке.

Бадани также описал интеграцию MCP и поддержку внешней оркестрации и рабочих процессов с ИИ-агентами. Это расширит способы управления платформой наряду с её консолью и существующей автоматизацией. Покупателям важно выяснить, сократит ли такая интеграция усилия в их конкретной среде.

По данным Red Hat, поддержка конфиденциальных вычислений на графических процессорах уже доступна для поддерживаемых систем на физических серверах, а песочница для ИИ-агентов пока находится на стадии технологического предварительного просмотра. Компания также обозначила трёхлетний цикл крупных выпусков, чтобы сделать жизненный цикл платформы предсказуемее.

Когда ИИ-агент запрашивает изменение, платформа должна установить его личность, ограничить доступные ему действия и дать оператору возможность вмешаться. Перед расширением доступа в пилотном проекте стоит измерить время подготовки к обновлению, объём ручной работы и число исключений из правил. Даже более самостоятельный рабочий процесс должен оставлять записи о выполненных действиях, ошибках и стоимости восстановления.

Выдающийся инженер Red Hat и вице-президент офиса технического директора Стивен Уотт рассказал о внутреннем пилоте, который объединил инференс открытой модели на собственных серверах, шлюз и бюджеты разработчиков. Команде пришлось обслуживать сервис инференса и убеждать инженеров переходить на альтернативу, если она подходила для задачи. В опубликованном описании Red Hat сообщает, что расходы на токены сократились на 40–70% относительно прежних цен коммерческих моделей — в зависимости от кеширования и распределения запросов.

Однако экономия добавила работы по эксплуатации. Покупателям нужно выяснить, кто будет обслуживать сервис, как будут соблюдаться правила и готовы ли пользователи применять новую систему. Эти расходы следует учитывать наряду с затратами на оборудование и инференс.

Как проверить экономию на открытой инфраструктуре

Октябрьский опрос не доказывает, что открытый исходный код повышает отдачу от инвестиций: это должна подтвердить экономика каждого внедрения.

Командам платформ стоит начать с одного рабочего процесса на базе ИИ. Вместе с его владельцем нужно определить, что считать успехом и какой объём проверки человеком приемлем. Команда данных должна установить, какие источники информации являются основными и какие правила доступа действуют. Инженерам платформ следует добавить инструменты измерения расходов, задержки и повторной работы, а финансовой команде — согласовать исходный уровень и проверить результат.

Затем нужно менять по одному компоненту за раз: испытывать другую модель, конфигурацию обслуживания или способ поиска данных, сохраняя прежние требования к качеству. Сравнение должно учитывать интеграцию, поддержку и проверку человеком. Более дешёвые запросы не дадут экономии, если результат потребует больше ручной проверки или переделок.

На проходящей на этой неделе в Солт-Лейк-Сити конференции KubeCon + CloudNativeCon North America направление ИИ инференс + Agentic посвящено обслуживанию моделей и эксплуатации ИИ. При разговоре с поставщиками и сопровождающими проектов стоит выяснить, какие интерфейсы стабильны, какие улучшения попадают в основные открытые проекты и где начинается коммерческая поддержка. Затем эти ответы нужно сопоставить с экономикой конкретного рабочего процесса. Новая платформа должна оправдать выбор тем, что поможет выполнять полезную работу надёжнее или дешевле.

По оценке Dataist, результаты опроса показывают разрыв между ожиданиями роста бюджетов и способностью компаний обосновать расходы финансовой отдачей. Открытые модели и платформы дают варианты для смены поставщиков, но сами по себе не гарантируют экономии: её нужно подтверждать на конкретных задачах с учётом качества, сопровождения и человеческого труда.