DeepSeek发布推理引擎开源途径，许诺将中心优化注入vLLM生态

发布时间：2025-05-15　点此：51次

“源神”DeepSeek 又有新的开源动作了。4 月 14 日，DeepSeek 悄然在其 GitHub 的 open-infra-index 库中发布了其自研推理引擎的开源计划。在公告中，DeepSeek 表明，他们并不会挑选直接开其内部完好且高度优化的代码库，而是将采纳一种更偏重协作、更具可持续性的战略，将其中心优化效果奉献给现有的开源项目，尤其是作为其技能根底的 vLLM。

清晰的DeepSeek公布推理引擎开源路径，承诺将核心优化注入vLLM生态的图片

DeepSeek 在其公告中首要对开源生态体系表达了诚挚的感谢，供认其在模型练习（依靠 PyTorch 等结构）和推理引擎构建（前期依据 vLLM）方面都深受开源社区的裨益。跟着自研的 DeepSeek-V3、DeepSeek-R1 等模型展现出强壮的才干，商场对其高效布置计划的需求日积月累，促进 DeepSeek 考虑如何将本身的发展回馈给社区。

图丨公告原文（来历：GitHub）

但是，在评价了直接开源内部完好推理引擎的可行性后，DeepSeek 以为存在几个要害妨碍。首要是明显的代码库不合。其内部引擎源自一年多前的 vLLM 前期分支，通过长时间针对 DeepSeek 模型的深度定制优化，已与 vLLM 主线或其他通用推理结构发生巨大差异。直接开源此版本不只难以被社区广泛应用和扩展，保护本钱也极高。

其次是根底设施强依靠。该引擎与 DeepSeek 内部的集群办理体系、特定的硬件装备和运维流程严密耦合，外部用户简直无法在规范环境下直接布置，需求进行大规模重构才干剥离这些依靠，这违反了开源项目一般寻求的易用性准则。

最终是有限的保护带宽。DeepSeek 坦言，作为一家以模型研发为中心的团队，他们缺少满足的资源来长时间保护一个需求持续投入、支撑广泛用例的大型开源项目。轻率发布或许导致项目后续支撑缺乏，危害用户体会。

面临这些实际限制，DeepSeek 挑选了与现有开源项目（特别是 vLLM）严密协作的途径，以更灵敏、更易于集成的办法共享其技能堆集。详细战略包含提取可复用的独立特性，将其模块化后作为独立的库奉献出来；以及直接共享优化细节，向 vLLM 等项目奉献规划思维、完成办法乃至详细的代码补丁。

这一协作战略取得了社区的遍及了解和积极响应。vLLM 项目官方账号在交际渠道 X 上清晰表明支撑，以为 DeepSeek“以正确的办法开源引擎”，行将改善带回社区使人人获益，而非创立一个独立的库房。技能社区的评论也倾向于以为，这种共享“know-how”和可集成模块的办法，比发布一个难以保护的代码“僵尸”更有价值。

图丨相关推文（来历：X）

社区对 DeepSeek 奉献内容的等待值很高。此前已有剖析指出，vLLM 在吸收 DeepSeek 2 月的“开源周”所发布论文中的部分优化后，处理 DeepSeek 模型的功能已有明显提高（约 3 倍）。

图丨不同 LLM 服务结构中每秒令牌数的功能提高，突显了 vLLM 中的优化。（来历：Red Hat）

而依据 DeepSeek 此前发布的推理体系内部测验成果，每个 H800 节点在预填充期间均匀吞吐量到达 73.7k tokens/s 输入（包含缓存射中），或在解码期间到达 14.8k tokens/s 输出。相比之下，有开发者运用 vLLM 在高并发下，运用 sharegpt 数据集时基准测验约为 5K total tokens/s，随机 2000/100 测验到达 12K total token/s 的吞吐量。这表明推理功能优化范畴仍有巨大提高空间。

值得注意的是，DeepSeek 在公告中特别弄清，本次宣告的开源途径仅针对其推理引擎代码库。关于未来模型发布，公司将持续秉持敞开协作的情绪，致力于在新模型推出前与社区及硬件同伴同步推理优化喜欢，保证社区能在模型发布首日（Day-0）取得最先进（SOTA）的推理支撑（或许这项喜欢也是为不久后到来的 R2 做衬托）。其最终目标是构建一个同步生态，让前沿 AI 才干能在多样化硬件渠道上无缝落地。

简洁的DeepSeek公布推理引擎开源路径，承诺将核心优化注入vLLM生态的图片

参考资料：

1.https://github.com/deepseek-ai/open-infra-index/blob/main/OpenSourcing_DeepSeek_Inference_Engine/README.md

2.https://developers.redhat.com/articles/2025/03/19/how-we-optimized-vllm-deepseek-r1#mla__multi_token_prediction__and_parallelism_optimizations

3.https://x.com/vllm_project/status/1911669255428542913?ref_src=twsrc%5Etfw%7Ctwcamp%5Etweetembed%7Ctwterm%5E1911669255428542913%7Ctwgr%5E2c28928084e90824cea080020bfca45fcf9e9ccb%7Ctwcon%5Es1_&ref_url=https%3A%2F%2Fanalyticsindiamag.com%2Fai-news-updates%2Fdeepseek-to-open-source-its-inference-engine%2F

运营/排版：何晨龙

告发/反应