Открытые ИИ-модели дешевеют и становятся лучше: как пользоваться ими, не оплачивая их запуск самим

Открытые модели дают компаниям контроль

В вычислительной технике появление более дешёвой и открытой альтернативы часто представляют как борьбу, в которой победитель останется один. Так было с Linux и Windows, а затем с Android и iOS. На деле обе стороны добились успеха, потому что обслуживают разные рынки. С самого начала это не было противостоянием «или — или».

Похожая ситуация складывается с моделями ИИ. В корпоративном секторе преобладают закрытые модели OpenAI и Anthropic, однако расходы на токены инференса постепенно смещаются в сторону моделей с открытыми весами. По данным Andreessen Horowitz, 37% компаний используют в производственной среде пять или больше моделей — как открытых, так и закрытых.

Для бизнеса главный риск — не выбрать «не ту» сторону, а настолько привязаться к одному поставщику моделей, что позже переход на другого окажется слишком дорогим или непрактичным.

За что компании ценят открытые модели

Открытые модели сокращают разрыв в качестве с закрытыми, но дело не только в этом. Компании привлекает возможность контролировать, куда попадают данные, как ведёт себя модель и насколько бизнес зависит от поставщика — особенно если тот исчезнет или изменит условия.

Запуск модели на собственных серверах или в облаке компании делает ИИ доступным для регулируемых отраслей — здравоохранения, юриспруденции и финансовых услуг. Там передача данных во внешний API часто невозможна. Дополнительное обучение открытой модели на данных компании позволяет настраивать её поведение внутри бизнеса, не передавая этот процесс поставщику.

А собственные веса модели защищают компанию от ситуации, когда поставщик исчезает, его покупают или он меняет условия. Модель нельзя просто отнять.

Контроль означает ответственность

За контроль приходится платить большей ответственностью со стороны пользователя. Открытые веса не означают, что модель является открытым программным обеспечением: обычно компания получает веса, но не данные для обучения, код или полноценную лицензию. От этого зависит, кто будет отвечать, если что-то пойдёт не так.

При использовании закрытой модели важную работу по безопасности выполняет поставщик. С открытой моделью за это отвечает команда компании. При этом защитные настройки легче отменить, чем может показаться.

Исследователи показали, что обучение модели мерам безопасности можно обратить небольшим количеством примеров для файн-тюнинга. Сообщается, что защитные ограничения моделей вроде Llama и Gemma можно снять за несколько минут. Это не повод отказываться от открытых моделей, но компаниям следует понимать, какой риск они на себя берут.

Где открытые модели особенно полезны

Самая очевидная область применения открытых моделей — узкие, чётко определённые задачи: создание эмбеддингов, классификация и обнаружение персональных данных (PII). Специально настроенная под одну из таких задач модель — например, для создания эмбеддингов или классификатор — часто превосходит передовую модель при значительно меньших вычислительных затратах.

Большая передовая модель умеет решать более широкий круг задач, но за эту гибкость приходится платить, даже если она не нужна. Модель, настроенная на конкретную задачу, позволяет избежать этих лишних затрат.

Кому стоит запускать модели самостоятельно

Ситуация напоминает рынок программного обеспечения с открытым исходным кодом: сам код может быть «бесплатным», но его запуск и обслуживание требуют денег. Большинство организаций выбирают управляемый сервис или готовый дистрибутив, потому что самостоятельно поддерживать программу обычно невыгодно — за исключением случаев, когда она критически важна для бизнеса.

С открытыми моделями действует та же логика. Скачать модель с Hugging Face и запустить её через сервис вроде Ollama несложно. Гораздо труднее добиться эффективности размещённой передовой модели и надёжности, необходимой приложению. Для этого нужны специалисты, которые умеют управлять GPU, настраивать инфраструктуру и поддерживать производительность модели под рабочей нагрузкой.

Для большинства компаний практичнее обращаться к провайдерам инференса — например, Fireworks, Together AI или Base10. Они специализируются на запуске и масштабировании открытых моделей. Такой подход даёт преимущества в стоимости и контроле, не добавляя компании операционных забот.

Исключение — самостоятельный запуск, когда ИИ составляет основу бизнеса, а масштаба и экспертизы достаточно, чтобы оправдать эти затраты. На определённом масштабе вложения в эксплуатацию окупаются.

Где передовые модели сохраняют преимущество

Платя за передовую модель, компания получает почти гарантированный уровень производительности и избавляется от необходимости добиваться его самостоятельно. Открытые модели могут обеспечить похожие способности к рассуждению дешевле, но издержки могут проявиться в другом: в задержках или в работе, необходимой для масштабирования модели.

Согласно ИИ Index Стэнфордского университета, в этом году разрыв между лучшими открытыми и закрытыми моделями немного увеличился. Об этом стоит помнить, когда кто-то утверждает, что открытые модели уже почти догнали закрытые.

Подходящий компромисс зависит от задачи. Пользовательское приложение часто не может позволить себе задержки. Внутренняя задача, например суммирование обращений в службу поддержки, обычно может.

Ценность смещается выше

Операционные системы со временем стали товаром: на их продаже уже почти никто не зарабатывает. Такая стандартизация уровня операционных систем отчасти сделала возможным облако, которое, в свою очередь, стало источником многих инноваций. Ценность не исчезла — она переместилась на уровень выше.

С моделями может произойти то же самое. По мере того как открытые модели сокращают разрыв на важных задачах, вопрос о том, «какая модель победит», перестаёт быть главным. Конкуренция смещается к тому, что создают поверх моделей: приложениям, данным и контексту, которые делают модель полезной.

Именно на этом уровне имеет значение выбор открытой модели, а не в отвлечённом споре о том, какой тип модели «лучше». Открытые модели могут стать важной частью диверсифицированной стратегии, но сначала компании нужно выяснить, где они действительно подходят для её задач.