48509
107
今天的嘉宾是月之暗面创始人兼CEO杨植麟，距离他上一次来我们的节目（《商业访谈录》59集）已经过去1年半。
就在刚刚过去的7月，Kimi K2模型发布，引发了比较广泛的关注。K2是一个基于MoE架构的开源编程和Agentic大语言模型。形象来说，模型借助编程能力走出封闭的“缸中之脑”，长出了“手”，开始操控外部数字世界。
今天这集节目我和杨植麟聊了聊K2的研发和他当下的技术认知、技术判断。
以及，在过去一年的舆论风暴与创业起伏中，作为创始人，他的心情与思考。
01:49 一座无限的山
这有点像我最近在看的一本书：The Beginning of Infinity（无穷的开始）
也许有一天会发现，这座雪山没有尽头，我希望它一直没有尽头
但它还是一个“缸中之脑”：想象一个鱼缸，你把一个脑子放在里面，跟外界没有联系
不管是基于长思考的强化学习，还是Agent的强化学习，都指向同一个东西：test-time scaling（测试时扩展）
还有一个很有意思的趋势是，现在有更多模型公司去做“一方的Agent产品”
L1到L5不一定是串行关系，Claude就bet这一点：它在Reasoning上做得不是特别多，但在Agent上做得非常好
只有当模型参与到开发过程，才能解锁真正的Innovator（L4）阶段
24:58 K2是乔戈里峰
K2的重点有几个：一，我们希望它是一个非常好的基础模型
我们希望能最大化使用每一份数据，就是所谓token efficiency——喂一样多的数据，“脑子”长得更多
我们会对数据做很多Rephrase（改写）操作
我们很关注Muon优化器，它对token efficiency提升很大
二，我们希望K2有好的Agentic能力，对于Agentic模型来讲，最大挑战是模型的泛化
它可能是一个从“缸中之脑”变成可以跟世界交互，因为所谓Agent最重要的特征是，可以多轮地使用工具
人是所谓的universal constructor（万能构造器）
有一种潜在思路，需要用更AI native（原生人工智能）的方式去训练AI
Muon你去训的时候，它会炸
54:08 既简单又复杂的系统
为什么Kimi从闭源转向开源？
模型训练完成，产品也基本完成了，做交互上的改进当然有价值，但那是锦上添花的一步
多模态不损伤“脑子”已经很好了
你可能学出来的多模态是个“傻的多模态”，我们希望它是个“聪明的多模态”
Scaling Law遇到数据墙了，这是客观事实
数据飞轮很依赖外部环境的feedback（反馈），我们不希望feedback有很多噪声，但现在没有把这个问题解决得非常好
现在看起来，基于FLOPs的scaling是更有效路径，但这个平衡什么时候会发生变化？
很多Long Context架构会影响“智商”
纯粹的Linear Attention（线性注意力机制）可能影响智商，因为这个架构会有一些bias（偏差）
基座模型公司和做Agent产品的应用公司，长期看边界在哪？
今天怎么思考商业模式？API是好生意吗？
Kimi能赚钱吗？
01:25:05 在自己的故事里面
Tim（周昕宇）天天跟我讲——要用RL的方式去管理，而不是用SFT
用RL管理团队最大问题是，你容易被hack
很多复杂性都是人为强行加上去的，实际并没有那么复杂
只能说是在自己的这个故事里面——你不断地感受自己到底是什么样的一个人，你为什么要做这个事情
这个问题我也问过Kimi，他说，AI是“人类文明的放大器”
这也是Kimi跟我讲的——任何中间状态都有可能成为被批评的对象
肯定有恐惧，更多要关注你当前这一步，能做什么？——想这个问题更重要
2024年对杨植麟的访谈：
《和杨植麟聊大模型创业这一年：人类理想的增量、有概率的非共识和Sora》
【更多信息】
文字和视频版同步上线
文字版请前往公众号：语言即世界language is world
视频版请前往Bilibili：张小珺商业访谈录
