动态 · 2026-10-22

DeepInfer 开源：DeepSeek 自研生产推理框架正式开放

2026 年 10 月 20 日，DeepSeek 在 GitHub 上开源了自研推理框架 DeepInfer（仓库 deepseek-ai/DeepInfer）。官方 README 的自我定位是"支撑 DeepSeek 大规模生产服务的高性能推理框架"，本次发布提供离线推理及其核心能力。项目上线后在 Hacker News 迅速获得超过 2300 个赞，彭博社也以"DeepSeek 发布开源工具帮助削减 AI 运营成本"为题进行了报道。

开源了什么

按官方文档，DeepInfer 本次开放的主体是推理引擎本身：优化内核（FlashMLA、DeepGEMM、DeepEP、TileKernels 等）、Attention DP / 均衡 CP 并行、MoE 的 EP + EPLB 负载均衡策略；解码加速方面包含 DSpark 投机解码与置信度调度验证（环境变量可开，默认草稿长度 5）；此外还有 SWA 有界重放、异步批调度、批不变推理与确定性采样（NVIDIA 平台），以及正则、JSON Schema、EBNF 三类结构化输出约束。

支持范围与硬件

当前版本支持的模型为 DeepSeek-V4.1-Flash，默认权重即 10 月 17 日发布的 V4.1-Flash-1017（Hugging Face 可取）。硬件支持 NVIDIA SM100 GPU 与华为昇腾 950 NPU 两套栈，环境要求 Linux、GCC 13 以上、Python 3.12，以及 CUDA 13（NVIDIA）或 CANN 9.2（昇腾）。

边界：这是"离线推理"版本

README 明确列出未包含在本次发布内的组件：KV cache 系统、预填充/解码分离（多数引擎功能已实现）、跨数据并行副本的负载均衡。换言之，把它直接当成一个完整在线服务还差一段距离，这部分工程需要使用者自行补齐。企业自建的适用场景与成本门槛，本站在DeepInfer 自建场景分析中单独展开。

观察

这是 DeepSeek 继 FlashMLA、DeepEP、DeepGEMM 等组件之后又一次基础设施层面的开源，且这次给到的是"生产同款"框架主体。对多数开发者而言，官方 API 仍是省心路线（缓存命中输入低至 $0.003/百万 token）；对有自建需求的团队，DeepInfer 把可选路径向前推了一步。新模型的训练路线可参考RLSF 技术解读。