财湃新闻 10月20日，DeepSeek正式宣布将内部推理框架DeepInfer和生产级Token编解码组件deepseek-recipe同时开源，这也是全球头部大模型企业中，首个公开其原生实际运行推理框架的项目。此前DeepSeek已经陆续开源大模型、TileLang编译工具及相关推理算子库，此次开放内部推理框架，是其开源体系向模型服务和部署环节的进一步延伸。

　　DeepSeek表示，大模型的能力边界由模型本身划定，但如何以合理成本提供超大规模的模型服务，还取决于一个长期未被公众了解的中间层：推理框架。训练使模型学有所成，推理则让模型为人所用，推理框架负责统筹调度庞大的算力集群，其效率直接决定AI服务的算力成本和电力消耗。此次开源行动，DeepSeek希望通过分享内部的部署经验，帮助开发者与企业组织优化大规模推理的吞吐与延迟，从而高效构建私有化及公有云部署，降低算力成本、减少能源消耗，让智能以更低的价格触达更广泛的人群，实现真正的大模型普惠。

DeepInfer核心定位与硬件适配能力

　　DeepInfer是一套专门服务于大规模生产环境的高性能推理框架，目前已在DeepSeek V4.1 Flash的大规模推理服务中投入实际使用，主打高吞吐和低延迟特性，并且同时兼容英伟达GPU和华为昇腾NPU两大硬件平台，单集群每天可支撑155万亿Token的服务吞吐量。该框架集成了高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等多项核心能力，能够适配不同硬件环境下的大规模推理部署需求。

　　从实际部署表现来看，DeepInfer已经经过了DeepSeek自身大规模线上服务的长期验证，并非仅停留在实验室阶段的技术方案。在合理负载调度条件下，大规模云厂商使用基于DeepInfer搭建的非原生部署方案，成本甚至可能低于直接采用DeepSeek官方服务的成本，这也为各类企业降低大模型服务的落地门槛提供了新的可行路径。按照DeepSeek的规划，未来新模型的推理代码及后续优化也将在DeepInfer项目中持续更新，保障开源社区能够同步获取最新的技术迭代成果。

三大核心技术实现性能突破

　　DeepInfer的性能优势来自于三项经过生产环境验证的核心技术，每一项技术都针对大模型大规模推理场景中的常见痛点进行了针对性优化。第一项核心技术是分布式推理和负载均衡，支持注意力数据并行、上下文并行以及MoE专家并行与专家负载均衡，在DeepSeek V4.1 Flash的实际部署中，Prefill阶段使用2至8路专家并行，Decode阶段扩大至64至128路专家并行，能够根据不同推理阶段的算力需求灵活调整并行策略，充分释放集群的计算潜力。

　　第二项核心技术是通过推测解码提高生成效率，框架集成了DSpark和基于置信度的验证调度机制，先由DSpark预测5个Token，再通过Confidence Head估计接受概率来动态安排验证长度，相比传统的固定验证长度的方案，线上吞吐量可进一步提升6%。这种动态调度的方式既保留了推测解码的加速效果，又避免了固定策略下不必要的验证开销，在不同类型的生成任务中都能保持稳定的性能提升。

　　第三项核心技术是减少长上下文场景的重复计算，采用SWA Bounded Replay技术，滑动窗口注意力的KV Cache不再持久化存储，缓存缺失时只重新计算最近128个Token即可恢复近似缓存状态。这一技术大幅降低了长上下文推理场景下的存储资源占用，同时避免了大量冗余的重复计算，有效提升了长文本处理任务的整体运行效率。

公开实测数据展现实际运行表现

　　DeepSeek公开的DeepSeek V4.1 Flash实际运行数据显示，依托DeepInfer框架的线上服务平均首字延迟仅400毫秒，生成速度达到230 tokens每秒，在代码场景下生成速度可以达到300 tokens每秒，平均输入缓存命中率高达96%。这些来自真实线上生产环境的运行数据，直观展现了DeepInfer在高负载大规模服务场景下的稳定表现，也为其他使用该框架的开发者和企业提供了明确的性能参考基准。

　　在离线测试环境中，DeepInfer同样展现出了优秀的单卡性能表现，Prefill阶段单GPU吞吐量最高约8.6万 tokens每秒，Decode阶段单GPU总吞吐量约2.6万 tokens每秒。这一实测数据意味着，即使在单卡部署的小规模场景下，基于DeepInfer搭建的推理服务也能够实现较高的运行效率，无需依赖超大规模的集群资源即可满足多数中小规模场景的使用需求。

deepseek-recipe保障官方级API体验对齐

　　与DeepInfer同步开源的deepseek-recipe是一套生产级Token编解码组件，负责将外部API请求转换成模型能理解的输入，并将模型输出转换为标准API响应。该组件完全使用Rust编写并提供Python绑定，其处理逻辑与DeepSeek官方API实现完整对齐，确保开发者在请求处理、工具调用和思考模式等环节尽可能与官方API保持一致，避免了不同部署环境下因编解码逻辑差异导致的输出行为不一致问题。

　　deepseek-recipe的运行流程主要包含三个核心步骤，第一步是统一输入格式，将不同格式的API请求统一转换为内部标准会话格式；第二步是将会话内容转换为模型所需的Token序列，按照官方完全一致的规则完成提示词渲染和Token编码；第三步是对生成结果进行解析和格式转换，将模型输出的Token序列还原为符合API规范的响应内容。这套完整的编解码流程，让社区用户在进行私有化部署时，能够获得与DeepSeek官方部署完全一致的API体验，实现私有化部署对官方服务的无缝替代。

　　DeepSeek表示，借助全面开源的模型、算子库与推理框架，期待着在不远的未来，能够看到全球AI服务的范围与质量获得前所未有的扩展与提升，变得更加公平、透明、可信赖，进而实现在全社会范围内加快技术迭代、减少能源浪费，让有限的资源以更高的效率在基础设施与用户终端之间流转，以每个人都能够负担的成本传递更加强大的智能，以及伴随着智能的善意和无限可能性。

(编辑：吴淑娟)