Kimi K2

Kimi K2，这是一个拥有 1.04 万亿参数的混合专家（MoE）大型语言模型，其中 320 亿参数处于激活状态。报告详细阐述了其预训练阶段采用的 MuonClip 优化器，该优化器结合了 Muon 的效率与 QK-clip 的稳定性，使得模型在 15.5 万亿个 token上实现了无损失尖峰的训练。此外，报告还强调了 Kimi K2 通过大规模 Agentic 数据合成和 强化学习进行后训练，显著提升了其在 软件工程和代理任务方面的能力。性能评估显示，Kimi K2 在多项基准测试中达到了最先进的水平，尤其是在代理能力方面表现突出，并已发布模型检查点以促进相关研究。

 Kimi K2: Open Agentic Intelligence