月之暗面开源Kimi K3模型权重与三大核心Infra技术，加速AGI普惠落地

SmartHey7月28日消息，27日是Kimi K3开放日，月之暗面正式发布Kimi K3模型权重、完整技术报告，并开源支撑其训练的关键基础设施（Infra）技术：MoonEP、FlashKDA和AgentEnv，旨在降低前沿大模型研发门槛，推动通用人工智能（AGI）研究与产业应用加速普及。

Kimi K3模型全面开放

Kimi K3是月之暗面迄今能力最强的开源大模型：作为一款拥有2.8万亿参数的混合专家（MoE）架构模型，它原生支持视觉理解能力，并具备高达100万token的超长上下文窗口。

相比前代Kimi K2.5，Kimi K3参数规模提升约3倍；但性能跃迁并非单纯依赖参数堆叠。在有限算力资源约束下，团队通过自研的Kimi Delta Attention（KDA）、Attention Residuals（AttnRes）及MoonEP等关键技术，将规模化训练效率提升2.5倍——即单位算力所产出的智能水平达此前基准的2.5倍。

即日起，全球开发者均可自由下载、本地部署并集成Kimi K3模型，适用于企业内部研发、终端产品嵌入等场景（其他用途请参阅《Kimi K3许可证》）。

技术报告同步上线，深度披露训练方法论

随模型权重同步发布的《Kimi K3技术报告》，系统阐述了该模型从架构设计到后训练评估的全栈技术路径：

KDA + AttnRes：采用3:1比例融合Kimi Delta Attention与门控多头局部注意力（Gated MLA），实现高效长程建模；辅以块级注意力残差机制，显著增强跨网络层的信息流动稳定性。

Stable LatentMoE：每个token动态路由至896个专家中的16个，结合SiTU-GLU激活函数与Quantile Balancing负载均衡策略，在极高稀疏度下保障MoE训练全程稳定收敛。

MoonViT-V2：全新自研视觉编码器，摒弃传统对比学习预训练范式，直接基于next-token prediction目标从零训练，在达到SigLIP初始化性能基线的同时，显著提升优化过程鲁棒性。

后训练与多维评估：构建覆盖通用推理、通用Agent及编程Agent三大方向的大规模合成任务集；依托百万token上下文强化学习基建，完成近20个内部评测集的系统性验证。

上述仅为核心技术概览，完整技术细节、消融实验与工程实践分析均已公开于技术报告中。

三大关键Infra技术正式开源

模型突破的背后，是坚实可靠的基础设施支撑。本次月之暗面开源三项核心Infra组件——MoonEP、FlashKDA与AgentEnv，覆盖高性能通信、高效注意力算子及分布式强化学习环境三大关键链路。其中FlashKDA此前已开源，MoonEP与AgentEnv则首次对外发布。

MoonEP：专为超大规模细粒度MoE设计的高性能专家并行（Expert-Parallel）通信库，可在专家负载严重不均衡场景下仍保持极致通信效率与扩展性。

FlashKDA：Kimi Delta Attention的高性能CUDA算子实现。实测显示，在英伟达H20硬件上，其prefill阶段吞吐量较flash-linear-attention基线提升1.72–2.22倍，可无缝替代现有后端。

AgentEnv：由月之暗面与KVCache.ai联合研发的大规模Agent沙箱系统。为Kimi K3后训练提供高保真、强隔离运行环境，支持秒级快照、状态恢复与任务分叉（fork），高效承载海量并行Agent工作流与训练任务。

这三项技术共同构成了Kimi K3高效、稳定训练的底层支柱。此次全面开源，不仅彰显技术透明理念，更期待赋能全球开发者，共同推进下一代智能模型的研发与落地。