Kimi K3 技术报告解读

Kimi K3 技术报告解读

13分钟 ·
播放数772
·
评论数9

月之暗面于7月16日正式发布旗舰大模型 Kimi K3,参数量达2.8万亿,是全球首个突破三万亿量级并选择开源的模型。K3 基于自研的 KDA 增量注意力机制和注意力残差技术构建,配合896个专家的混合专家架构,规模化效率较上一代提升2.5倍,同时具备原生视觉能力和一百万字的超长上下文窗口。

K3 在长周期复杂任务上表现惊人:它能在24小时内独立优化底层 GPU 算子,从零手搓出性能比肩行业标杆的 MiniTriton 编译器,甚至在48小时内自主完成了一枚微型 AI 芯片的完整设计——从布线到仿真验证全链路闭环。科研场景中,它可自动翻阅数十篇论文、敲下三千行代码复现复杂规律,还能揪出人类论文中的公式错误。配合 Kimi Work 平台,K3 可生成出版级交互报告、3Blue1Brown 风格科普动画,甚至自动完成视频剪辑。

官方坦言,K3 整体实力仍落后于 Claude Fable 5 和 GPT-5.6 Sol 等顶尖闭源模型,在交互体验上亦有打磨空间,但其在开源阵营中已稳居第一梯队

报告链接:www.kimi.com

展开Show Notes
是机器人做的吗?感觉稿子里的常识性错误也太多了点
RayHu
:
比如?
RayHu
:
2.2.8 万亿和 3 万亿这只是一个近似的表达啊哥... 3.这个稿子我审过一遍,你说的这几个细节问题我感觉你钻牛角尖了。Kimi 技术报告里确实提了 attention 残差的方案,你可以去搜都行的论文,年初杨植麟自己讲过很多次。。。另外看你的表达,我觉得你可以 follow 下大模型最新的进展。。。
6条回复
牡龙
牡龙
7天前
太快了这速度,昨晚才发的模型
RayHu
:
😄