DeepSeek DeepInfer: компания открыла код фреймворка инференса для модели V4.1-Flash

20 октября 2026 года DeepSeek опубликовала исходный код DeepInfer — фреймворка инференса, который обеспечивает работу крупномасштабных сервисов модели DeepSeek-V4.1-Flash. Релиз размещен в репозитории github.com/deepseek-ai/DeepInfer под лицензией Apache 2.0.

Одновременно вышла библиотека deepseek-recipe под лицензией MIT, отвечающая за токенизацию и обработку промптов в соответствии с официальным API. Код доступен для скачивания и самостоятельной сборки.

DeepSeek DeepInfer: технические характеристики и ограничения

DeepInfer поддерживает только модель DeepSeek-V4.1-Flash с чекпоинтом DeepSeek-V4.1-Flash-1017 на Hugging Face. Фреймворк предоставляет офлайн-инференс с оптимизированными ядрами FlashMLA, DeepGEMM и DeepEP. Реализованы параллелизм Attention DP и сбалансированный CP, а также MoE EP с балансировкой нагрузки EPLB. Добавлены спекулятивное декодирование DSpark, ограниченный replay SWA, асинхронное планирование и режимы детерминированного и batch-invariant вывода.

Поддержка оборудования ограничена NVIDIA SM100 (Blackwell) и Huawei Ascend 950. Требования к системе: Linux, Python 3.12, GCC не ниже 13, CUDA 13 для NVIDIA или CANN 9.2 для Ascend. В текущей версии отсутствуют система KV-кэша, разделение prefill и decode, а также балансировка нагрузки между репликами — эти компоненты компания указала как необходимые для полноценного сервиса.

По собственным данным DeepSeek, один кластер обрабатывает около 155 триллионов токенов в сутки. Вне пиковых часов выручка составляет примерно 38 долларов за GPU-час. Доля попаданий в кэш достигает 96 %. В тестах на 64 GPU зафиксирована пропускная способность декодирования более 25 тысяч токенов в секунду на GPU при использовании 4 GPU для prefill-стадии.

Цели релиза и планы развития DeepInfer

DeepSeek заявила, что открытие кода направлено на снижение вычислительных затрат и энергопотребления в сообществе. Компания планирует добавлять в репозиторий код инференса будущих моделей и дальнейшие оптимизации. В течение первых часов после публикации репозиторий набрал несколько тысяч звезд.

Российские издания TechFlowPost и Serverflow оперативно опубликовали материалы о релизе, отметив поддержку NVIDIA Blackwell и Huawei Ascend, а также ориентацию на офлайн- и продакшен-инференс. Независимых бенчмарков на момент публикации не появилось. Следующие шаги — ожидание вклада сообщества и расширения поддержки моделей в рамках того же репозитория.