Deepseek открыла исходный код движка инференса для своей самой быстрой и дешёвой модели ИИ

Как устроен DeepInfer

Инференс — это этап, на котором обученная модель обрабатывает запросы и генерирует ответы. DeepInfer — программное обеспечение для обслуживания моделей, которое позволяет V4.1-Flash отвечать быстро и в больших масштабах.

Фреймворк построен на основе vLLM. В него входят оптимизированные вычислительные ядра, распределённая обработка на нескольких чипах и ускоренные методы генерации текста. Код для будущих моделей Deepseek компания тоже будет выпускать в открытый доступ.

Отдельно Deepseek публикует deepseek-recipe. Инструмент повторяет обработку токенов в официальном API компании, чтобы модели на самостоятельно настроенной инфраструктуре работали так же, как при обращении через API.

Давление на конкурентов

Модели Deepseek уже обходятся очень дёшево, а DeepInfer позволяет дополнительно снизить стоимость их запуска. Компания заявила в X, что хочет помочь сообществу уменьшить расходы на вычисления и энергопотребление, а также сделать ИИ доступнее.

Релиз усиливает ценовую конкуренцию для западных поставщиков, таких как OpenAI и Anthropic. На фоне соперничества Китая и США в сфере ИИ этот шаг может иметь и политическую мотивацию. Если западные ИИ-компании не достигнут целевых показателей роста, это создаст риски для экономики США и других стран.