SGLang 推出弹性专家并行（EP）扩容方案，支持 MoE 大模型在线推理无缝扩容

SmartHey10月23日消息，近日，LMSYS 官方博客宣布开源推理引擎 SGLang 正式推出弹性 EP（专家并行）扩容方案，专为 MoE（Mixture of Experts）大模型在线推理场景设计，有效解决传统扩容方式中资源浪费严重或必须停机重启的核心痛点。

当前 MoE 推理服务的扩容通常依赖两种方式：一是整副本水平扩容，显存与计算资源开销大、性价比低；二是停机重启并重新加载模型权重以切换更大规模的 EP 拓扑，导致业务中断。而 SGLang 弹性 EP 方案实现了真正的“热扩容”——在推理服务持续对外响应的同时，后台可动态新增 GPU 计算节点，平滑扩展专家并行规模，例如从 EP4 在线升级至 EP6 或 EP8，全程无需关停现有推理实例。

该方案深度复用 SGLang 现有的高可用故障恢复体系，由三层核心组件协同实现：SGLang 控制平面统一管理扩容生命周期与生效时机；Mooncake PG 负责构建动态进程组并保障跨节点全局同步；NIXL 作为 MoE 全对全（All-to-All）通信层，精准执行 token 路由分发——扩容时仅建立新通信连接，原有已建立链路保持稳定复用，显著降低通信重建开销。

系统启动阶段即通过 max_ep_size 参数预分配元数据结构与 RDMA 通信缓冲区，新增 GPU rank 按需激活，避免初始阶段显存被全部占用，提升资源利用效率。

实测数据显示，在 H100 集群与 DeepSeek-V3-Lite FP8 模型上，从下发扩容指令到新 EP 拓扑成功处理首条请求，弹性扩容耗时仅为停机重启重建方案的 5.3–8.2 倍（即速度快约 5–8 倍）。目前方案已完整支持扩容后专家负载均衡（EPLB）、解码阶段 CUDA Graph 重捕获、DP-Attention 分片并行等高级特性；启用 CUDA Graph 后，端到端吞吐量较 Eager 即时执行模式提升超 3 倍。

功能演进方面：弹性扩容能力已合入 SGLang 主干分支；缩容功能正处于 PR 评审阶段；空闲态扩缩容、扩容状态下的自动故障恢复则列入后续路线图。需注意，当前扩容 API 仅负责进程接入与拓扑协调，GPU 物理资源调度仍需依赖外部编排系统（如 Kubernetes + Device Plugin）协同完成。

该技术特别适用于流量峰谷波动显著的 MoE 在线推理服务，支持细粒度、按需伸缩算力，大幅降低弹性调度带来的资源冗余与服务中断成本。