月之暗面开源2.8万亿参数Kimi K3大模型，支持百万token上下文与原生视觉理解

SmartHey7月28日消息，月之暗面于27日晚正式开源Kimi K3模型。官方同步发布该模型的完整权重、技术报告，并开源支撑其训练的关键基础设施（Infra）技术：MoonEP、FlashKDA和AgentEnv。

Kimi K3是一个参数量达2.8万亿的超大规模开源模型，采用自研KDA混合线性注意力机制（Kimi Delta Attention）与注意力残差（Attention Residuals）架构，原生支持多模态视觉理解能力，并具备100万token的超长上下文窗口。

据官方介绍，Kimi K3是当前全球首个公开发布的2.8万亿参数级开源模型；在过去12个月内，Kimi系列模型已在9个月中持续保持开源模型参数规模的行业上限纪录。

在模型结构层面，Kimi K3进一步提升了Mixture of Experts（MoE）的稀疏激活效率：依托Stable LatentMoE框架，可在896个专家中精准激活仅16个，配合优化的训练策略与数据配比，整体扩展效率相较前代Kimi K2提升约2.5倍，显著增强算力向智能能力的转化效率。

实测表明，Kimi K3展现出卓越的长程编码与复杂任务编排能力——在极低人工监督条件下，可持续执行长时间工程任务，深入理解并处理大型代码库，同时协调调用终端工具链；此外，它在软件工程与视觉推理交叉任务中表现突出，可结合截图与视觉反馈，有效优化游戏开发、前端工程及CAD设计等实际场景。

官方指出，尽管Kimi K3在综合性能上暂未超越顶尖闭源模型Claude Fable 5与GPT-5.6 Sol，但在涵盖代码、数学、多模态、长文本等维度的全套基准评测中，稳定达到前沿水平，并全面超越其他所有开源模型。

本次同步开源的三项核心Infra技术，覆盖大模型训练全链路关键环节：MoonEP（高性能分布式通信框架）、FlashKDA（已开源的KDA专用高速算子库）和AgentEnv（面向智能体强化学习的大规模分布式仿真环境）。其中，MoonEP与AgentEnv为首次对外开源。