DeepSeek 在其 GitHub 仓库发布预告称，即将开源推理引擎 DeepSeek Inference Engine。
考虑到代码分支和维护资源等问题，他们选择了直接和 vLLM 等现有开源项目合作的方式进行开源。
下面是官方公告：
几周前，在开源周期间，我们开源了几个库。社区的反应非常积极——激发了许多鼓舞人心的合作、富有成效的讨论和宝贵的错误修复。
受到这一鼓舞，我们决定再迈出一大步：将我们的内部推理引擎贡献给开源社区。
我们对开源生态系统深表感激，没有它，我们向通用人工智能（AGI）的进步将不可能实现。我们的训练框架依赖于 PyTorch，我们的推理引擎建立在 vLLM 之上，这两者都在加速深度探索模型的训练和部署方面发挥了至关重要的作用。
随着对部署 DeepSeek-V3 和 DeepSeek-R1 等模型的需求不断增长，我们希望尽可能地为社区做出贡献。虽然我们最初考虑开源我们的完整内部推理引擎，但我们发现了一些挑战：
- 代码库改动大：我们的引擎基于一年多前的 vLLM 早期分支。尽管结构相似，但我们已经为 DeepSeek 模型进行了大量定制，这使得它难以扩展到更广泛的应用场景。
- 基础设施依赖：该引擎与我们的内部基础设施紧密耦合，包括集群管理工具，这使得在没有重大修改的情况下进行公开部署变得不切实际。
- 维护资源有限：作为一个专注于开发更好模型的中小研究团队，我们缺乏维护大型开源项目的资源。
鉴于这些挑战，我们决定与现有的开源项目合作，作为更可持续的替代方案。
未来，我们将与现有的开源项目紧密合作，以：
- 提取独立功能：模块化并贡献可重用的组件作为独立库。
- 分享优化：直接贡献设计改进和实现细节。
详情查看：
https://github.com/deepseek-ai/open-infra-index/blob/main/OpenSourcing_DeepSeek_Inference_Engine/README.md