DeepSeek открыла исходный код движка для собственного инференса

Стартап DeepSeek опубликовал на GitHub фреймворк DeepInfer — движок, который обслуживает его продакшн-сервисы. Код доступен по лицензии Apache-2.0 в репозитории deepseek-ai/DeepInfer.

Внутри — собственные оптимизированные кернелы (FlashMLA, DeepGEMM, DeepEP и другие), параллелизм под архитектуру MoE и асинхронный планировщик: он готовит следующий батч, пока устройство считает текущий.

Отдельно выложенная функциональность:

• спекулятивный декодинг — модель генерирует несколько черновых токенов и затем проверяет их разом, решая, какие отправить в итоговый ответ, а какие переделать; это ускоряет и удешевляет вывод;
• схема детерминизма для отладки пайплайнов и оценок поверх LLM: одинаковый вход и параметры дают одинаковый результат независимо от нагрузки и состава батча, в отличие от обычного режима работы модели;
• structured outputs — жёсткое ограничение генерации JSON, регулярным выражением или грамматикой EBNF.

Под лицензией MIT выложили deepseek-recipe — схему, по которой запрос от клиента превращается в то, что понимает модель, а ответ модели возвращается в вид, ожидаемый клиентом. Именно на этом этапе, по оценке DeepSeek, часто ломается самостоятельный хостинг открытых весов. В комплекте есть Python-биндинг.