百度开源文心5.5 Flash Base：2800亿参数MoE模型，支持百万Token上下文，多项长上下文与推理能力达同尺寸SOTA

SmartHey11月5日消息：11月5日，百度正式开源最新基座模型——文心5.5 Flash Base（ERNIE 5.5 Flash Base）。该模型采用先进MoE（Mixture of Experts）架构，总参数量达2800亿，每Token动态激活140亿参数；预训练阶段使用33.5万亿Token，预训练上下文长度最高支持128K，微调与推理阶段更可扩展至最长100万Token上下文。在知识理解、逻辑推理、数学运算、代码生成、多语言处理及超长文本建模等主流基准测试中，全面超越DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base等同级别竞品，刷新同尺寸模型性能纪录。

文心5.5 Flash Base以“效率”为核心设计目标，在注意力机制、专家路由策略与训练范式三大关键模块实现系统性突破，兼顾高性能与高性价比。

在注意力机制方面，模型创新提出Latent-Gated Sparse Attention（隐式门控稀疏注意力），有机融合混合稀疏注意力（HSA）、低秩门控注意力（Low-Rank Gated Attention）与虚拟头注意力（Virtual Head Attention, VHA）。其中，通过协同使用历史压缩注意力（HCA）与多粒度局部注意力（MLA），不同层可分别高效压缩历史信息与精准定位关键位置；低秩门控注意力利用已有低维表征生成门控信号，使门控投影权重参数降低75%；VHA则在不增加推理开销的前提下显著提升模型表达力与训练稳定性——其计算被深度集成至注意力算子内部，实际部署几乎零额外成本。整体设计大幅降低长上下文处理的显存与计算负担，同时保障对关键语义的强捕获能力。

在专家路由层面，模型采用Multi-Router Latent MoE（多路由器隐式MoE）架构：由多个独立轻量级路由器并行参与专家选择，显著增强路由评分与专家实际贡献间的相关性。相比传统单一路由器方案，该设计有效抑制因单一评分偏差导致的专家误选问题，且严格保持激活专家数、专家计算总量及跨设备通信量不变，兼顾效果与工程可行性。

在训练目标设计上，文心5.5 Flash Base引入ECHO（Explicit Contextual Head Optimization）机制——无需额外引入Multi-Token Prediction（MTP）辅助模块，而是复用主干网络最后一层作为预测头，让模型自身学习预测后续token序列走向。这一设计不仅强化了模型对长程依赖与结构化输出（如代码、推理链）的建模能力，更赋予其天然的投机解码潜力：同一单步ECHO预训练中，复用的最后一层即可直接作为高质量草稿模型，展现出优异的多步外推能力，起草质量远超依赖独立MTP模块的同类方案。

除算法创新外，配套基础设施升级同样关键。百度同步优化分布式Muon优化器，并推出专为大head维度设计的高效注意力算子FlashMask-4，显著改善超大规模训练中的通信带宽占用、GPU显存利用率与核心计算吞吐效率。实践表明，模型能力跃升不仅源于算法突破，更离不开底层训练系统的坚实支撑。