DeepSeek 全面开源自研推理框架 DeepInfer，助力大模型高效普惠部署

SmartHey10月20日消息，DeepSeek 今日正式宣布，继开源多款大模型、TileLang 编译工具及推理算子库后，将内部高性能推理框架 DeepInfer 全面开源。

DeepSeek 指出：大模型的能力上限由其自身架构决定，但能否以合理成本支撑超大规模服务，则高度依赖一个长期被公众忽视的关键中间层——推理框架。

训练赋予模型知识，推理则让知识真正服务于人。在面对海量并发请求时，推理框架需智能调度分布式算力资源，其性能直接关系到 AI 服务的单位算力成本与能耗水平。

此次开源旨在开放 DeepSeek 在真实业务场景中沉淀的大规模推理工程经验，帮助开发者与企业显著提升推理吞吐量、降低端到端延迟，从而更高效地构建私有化部署与云原生推理服务，在保障体验的同时切实降低算力开销与碳足迹，推动大模型技术走向更广泛、更可持续的普惠应用。

目前，基于 DeepInfer 框架，DeepSeek 已稳定支撑 DeepSeek V4.1 Flash 版本的高吞吐、低延迟推理服务。未来所有新模型的推理实现、性能优化及配套工具也将持续在此开源项目中迭代更新。