Почему замена ИИ-модели отнимает недели работы

У переходов были разные результаты: 55% респондентов из компаний, менявших модель, сообщили, что новая работала не хуже прежней. Остальные 45% ответили, что производительность снизилась и приложение пришлось переделывать либо компания вернулась к исходной модели. Эта доля статистически значимо не изменилась по сравнению с сентябрём.

Маршрутизация упрощает выбор модели

Компании могут направлять запросы к более дешёвым моделям с помощью маршрутизатора — программы, которая выбирает модель для каждого запроса. Это одна из функций ИИ-шлюза, расположенного между приложениями компании и поставщиками моделей.

В понедельник Anthropic выпустила Claude Fable 5.2 по цене $8 за миллион входных токенов и $40 за миллион выходных — на 20% дешевле модели, которую она заменила. Об этом сообщал исполнительный редактор VentureBeat Карл Францен. Опрос VentureBeat завершился до выпуска модели. При этом он не выяснял, почему компании меняли модели и была ли новая дешевле.

В маркетинговом агенте Adobe сначала используется более дешёвая модель, чтобы выбрать подходящий контекст, а затем запрос передаётся крупной модели. Об этом 28 октября на саммите VentureBeat Agentic Infrastructure Stack Summit в Сан-Франциско рассказала старший вице-президент Adobe по инженерным вопросам Анджул Бхамбри.

Маршрутизацию предлагают и стартапы. В решении Tetrate режим Auto Mode выбирает модель для каждого запроса. Некоторые клиенты компании уже не заботятся о том, какую именно модель получат, рассказал на саммите сооснователь и технический директор Tetrate Варун Талвар. Однако, по его словам, система пока не научилась надёжно выбирать подходящую модель для каждой задачи. Клиенты начинают с одной команды и включают Auto Mode по умолчанию, только если качество ответов не снизилось, а расходы уменьшились.

Даже при автоматическом выборе модели компании нужно проверять, как приложение работает с новым вариантом. Именно о такой замене внутри действующей системы спрашивал опрос VentureBeat.

На саммите в том же ключе высказался Судханшу Бист, вице-президент по инженерии платформенной инфраструктуры Upwork — онлайн-площадки для фрилансеров. Для открытого задания по программированию он позволил бы небольшой модели закончить работу, начатую крупной. Но в рабочей системе, по его словам, вероятнее всего, оставил бы прежнюю модель. Выбор зависит от задачи: повторяющуюся работу с чёткими правилами, например подбор фрилансеров на вакансии, Upwork поручает небольшим дообученным моделям, а открытые задачи — более крупным.

Рабочее приложение может опираться на промты, инструменты и тесты, настроенные под конкретную модель. При её замене эти элементы иногда приходится переделывать. Опрос не выяснял, какие именно части приложений компании меняли и пользовались ли они ИИ-шлюзами.

Новая модель может иначе работать в прежней системе

Некоторые компании дообучают модели на собственных примерах, чтобы лучше приспособить их к своей области. Но результаты такой настройки не переносятся автоматически на следующую модель.

PayPal много раз меняла модель внутри приложения, рассказал 8 октября на мероприятии VentureBeat вице-президент и глобальный руководитель направления ИИ-продуктов компании Рен Чжан. Для торгового агента, который помогает покупателям изучать товары и оформлять покупки, PayPal перешла на более быструю небольшую модель и дообучила её. Это повысило точность, но, по словам Чжан, улучшения оказалось недостаточно. Работу проводили во внутренних исследованиях и испытаниях, до запуска агента для клиентов, сообщила компания.

Позже PayPal решила меньше полагаться на дообучение: для него нужна команда специалистов, а с выходом каждой новой модели процесс приходится повторять. Теперь компания сочетает дообученные и готовые модели, а также учитывает распределение вычислительных ресурсов, чтобы подобрать баланс точности, скорости, стоимости и контроля. Об этом во вторник сообщил представитель PayPal, передавая слова Чжан.

Технический директор Box Бен Кус объяснил, почему новая модель может ухудшить работу приложения: инженеры подстраивают программное обеспечение под исходную модель, а следующая может вести себя иначе. На интервью для подкаста VentureBeat Beyond the Pilot 30 октября он отметил, что руководители часто ожидают улучшений от перехода на новую модель, но это происходит не всегда.

По словам Куса, сильнее всего результат может зависеть от программной оболочки модели — кода, который передаёт ей инструкции и определяет, к каким инструментам она может обращаться. Выбор между передовыми моделями сейчас влияет меньше: все они уже достаточно хороши. Поэтому Box проверяет модели вместе с разными оболочками.

Оболочка может влиять и на стоимость выполнения задачи. В бенчмарке Runta FrontierHarness Eval модель Kimi K3 от Moonshot AI решила 63,3% заданий и в Claude Code, и в конфигурации DeepSeek Harness. Но средняя стоимость одной решённой задачи составила $18,34 в Claude Code против $3,28 в DeepSeek Harness — разница более чем в пять раз при одинаковой доле успеха.

В тесте FrontierHarness Eval Kimi K3 запускали в девяти оболочках и 12 конфигурациях на одних и тех же 30 задачах по программированию. Runta, компания, предоставившая среду для испытаний, объявила результаты в начале сентября. Тридцати задач недостаточно для надёжного рейтинга, поэтому его следует считать приблизительным. Об этом говорит и Сэм Виттвин, соведущий подкаста VentureBeat, в своём видеоразборе бенчмарка.

При проверке новой модели стоит использовать ту же оболочку, что будет работать в приложении. Если результат не устраивает, имеет смысл попробовать другую, прежде чем отказываться от модели: причиной неудачи может быть оболочка.

На саммите 28 октября сооснователь и генеральный директор компании по оценке моделей Artificial Analysis Мика Хилл-Смит рассказал, что в их исследованиях оболочка влияла на результаты крупнейших моделей меньше, чем ожидалось. Небольшие модели, по его словам, менее гибкие. В тестах агентов для программирования результаты таких моделей могут различаться на 20, 30 или 40 процентных пунктов — в зависимости от того, обучали ли их на стиле конкретной оболочки.

Переход на небольшую модель может заметно снизить расходы, но для этого нужна дополнительная инженерная работа. Хилл-Смит пояснил, что компании вкладывают больше усилий, чтобы использовать такие модели. Поэтому оболочка, созданная для крупной модели, может плохо подойти небольшой.

Цена токена не показывает стоимость хорошего результата

Более дешёвая модель может обойтись дороже, если чаще ошибается. На саммите Бист привёл условный пример: небольшая модель стоит 10 центов за запуск и справляется с задачей в 20% случаев. В среднем понадобится пять попыток, а значит, успешный результат обойдётся примерно в 50 центов. Крупная модель стоит 30 центов за запуск, но справляется в 90% случаев — около 33 центов за успешный результат. Она обходится втрое дороже за один запуск, но дешевле в пересчёте на решённую задачу. В расчёте предполагается, что компания повторяет неудачные запуски до успеха. Бист уточнил эти цифры в письме в среду.

Шлюз моделей Upwork не учитывает все затраты на успешный результат. Он отслеживает расходы команд на обращения к моделям, но не видит стоимости графических процессоров для обучения и дообучения, времени сотрудников на исправление результатов агента и вычислений, необходимых для вызова инструментов, пояснил Бист.

По словам Талвара из Tetrate, некоторые компании начинают считать стоимость успешного результата, а не только цену токена. Главный директор по ИИ компании WEKA Вал Беркович на саммите заявил, что отрасль всё ещё привязана к оплате за токены, хотя оценивать следует стоимость результата. WEKA была одним из спонсоров мероприятия.

Для некоторых задач экономия не главное. T-Mobile использует ведущие модели для агентов поддержки клиентов и готова платить за них больше, рассказал на саммите главный специалист компании по информационным технологиям Джефф Саймон. В службе поддержки компания стремится давать клиентам быстрые и точные ответы, а не прежде всего снижать расходы.

Uber готова менять модель агента за несколько дней

Если открытая модель окажется выгоднее для проверки кода с помощью ИИ, Uber сможет перейти на неё за несколько дней, сообщил на саммите заслуженный инженер компании Удай Киран Медисетти. Проверка кода — одна из задач централизованно управляемых агентов Uber, которых компания разрабатывает и запускает сама.

Для проверки кода Uber создала бенчмарк: модель можно испытать на изменениях кода прошлых лет. Позже компания разработала тесты и для фонового агента-программиста, используя реальные сеансы работы с кодом. По словам Медисетти, эта задача оказалась значительно сложнее.

Результаты бенчмарков помогают Uber выбирать модель для автоматической очистки кода от устаревших флагов функций. Проверки и подбор модели позволили компании сократить стоимость каждой такой операции на 90%, сообщил Медисетти. Возможности снизить затраты есть у каждого управляемого агента Uber.

Компания также отслеживает, какую долю запросов с ИИ можно перенести с одной модели на другую. Управляемые агенты Uber можно переводить между моделями, но сеансы, которые инженеры ведут вручную в инструментах вроде Claude Code, переносить гораздо труднее: для этого нужно менять привычный способ работы людей.

Как компании готовятся к замене модели

PayPal хранит деловые знания отдельно от модели. Внутренний помощник для анализа данных использует слой знаний с определениями компании, одобренными запросами и пошаговыми инструкциями для анализа, рассказал Чжан. По данным PayPal, этот слой повысил точность ответов на внутренние деловые вопросы с 43% до 95% при использовании той же модели. Его создали отдельно, чтобы знания компании не зависели от конкретной модели. Если связать их с одной моделью, при каждом переходе знания придётся настраивать заново, считает Чжан.

Клиенты Databricks превращают ответы передовой модели в набор для оценки. По словам директора по управлению продуктами компании Брайана Кларка, сначала они создают простую версию на передовой модели и текстовом индексе — Кларк описал этот подход как «умный агент, но не умный серверный компонент». Ответы передовой модели сохраняют для проверки. Затем переходят на более дешёвую открытую модель, добавляют векторный поиск и сравнивают её ответы с сохранённым набором. Об этом Кларк рассказал на саммите.

Box оценивает каждое изменение по трём показателям: точности, стоимости и скорости. Их проверяют на наборе запросов, основанном на задачах, которые клиенты поручают агентам компании. По словам Куса, главное — эти три результата, а собрать данные для оценки обычно труднее всего.

T-Mobile испытывает изменения на реальных звонках клиентов и проверяет каждую сессию после запуска. Когда инженеры меняют настройки агентов поддержки, старая и новая версии работают одновременно, а компания сравнивает их на реальных звонках. Расширять использование новой версии начинают, только если она показывает лучший результат. Кроме того, небольшая модель проверяет каждый текстовый и голосовой сеанс и отмечает ответы, которые могут быть неверными. Предварительные тесты не охватывают все варианты вопросов, поэтому T-Mobile ищет редкие случаи, которые не встретились бы в лаборатории, рассказал Саймон.

В JPMorgan Chase новые модели должны пройти внутреннее согласование до того, как сотрудники получат к ним доступ. Этот процесс влияет на скорость перехода: банк, который расширяет использование Claude от Anthropic, проверяет каждую новую модель Claude по собственным правилам. Об этом Anthropic сообщила в понедельник.

Что проверить перед переходом

Необходимость потратить время на замену модели — повод тщательно подготовиться, а не отказываться от перехода. Уильям Аллен, руководитель направления продуктов Snowflake для CoCo — агента компании для программирования — и CoWork, помощника для офисных работников, в разговоре с VentureBeat 3 ноября отметил, что представления об ИИ, казавшиеся верными три-четыре месяца назад, могут устареть. Он также предостерёг от отказа менять систему лишь потому, что в неё уже вложили много работы.

Из опыта компаний, участвовавших в обсуждениях, складывается такой порядок подготовки:

VentureBeat собирается задать те же вопросы о замене моделей в ноябрьском опросе и выяснить, по-прежнему ли 70% компаний, менявших модель, сообщают о нескольких неделях или большем сроке работы.

VentureBeat Intelligence провела опрос VB Pulse об оркестрации агентов в октябре 2026 года. Респонденты отвечали о компаниях как минимум со 100 сотрудниками; 28% были консультантами и давали ответы о клиенте, на которого тратили больше всего времени. На вопрос о затратах инженерной работы отвечали только участники, чьи компании меняли модель. Показатели результатов перехода тоже относятся к этой группе, поэтому их точность ниже.

Для сравнения с октябрём в сентябрьские данные включили только тех, кто прошёл бы октябрьскую проверку на соответствие условиям опроса. В сентябре 49% респондентов из компаний, менявших модель, сообщили, что переход занял несколько недель или больше, а 12% — больше месяца. VentureBeat Intelligence считает оба октябрьских роста ориентировочными: состав участников изменился. В октябре 35% респондентов сообщили, что используют системы ИИ или отслеживают их с деловой точки зрения. Это заметно больше, чем в сентябре; такие участники чаще других выбирали ответ «больше месяца». Если исключить их, доля переходов длительностью несколько недель или больше составит 66%, а дольше месяца — 29%. Большинство участников октябрьского опроса набрали через исследовательскую панель, поэтому VentureBeat не может определить, насколько изменения между сентябрём и октябрём объясняются составом респондентов.

По оценке Dataist, менять модель одной строкой кода можно лишь на уровне маршрутизации: надёжность перехода зависит от тестов, программной оболочки, затрат на успешный результат и внутренних правил компании. Примеры показывают и обратное: отдельный слой знаний и проверка на реальных запросах помогают подготовиться, но не устраняют необходимость заново оценивать каждую связку модели и приложения.