少有的同时做过 Agent、多模态和具身的人 | 对谈前混元多模态 RL Infra 负责人淏楠

少有的同时做过 Agent、多模态和具身的人 | 对谈前混元多模态 RL Infra 负责人淏楠

54分钟 ·
播放数13145
·
评论数20

这期的嘉宾淏楠非常「折腾」。他读过五个大学,读着觉得没意思就换,也是少有的同时做过 Agent、多模态、RL 和具身的人,而且总是做一些逆势而为(非主流)的选择:

他曾在陈天桥和代季峰两位老师的 MiroMind 工作,是最早一批做 Agent 的人,却在 Agent 最热的时候放弃更丰厚的 package,转向多模态。在混元负责多模态 RL infra、主导推出开源多模态强化学习框架 UniRL 之后,他最近又换了方向,去了一家具身公司负责模型训练。其实,Astra 的出现给具身行业带来了不小的震动,也似乎抹平了各家此前在「大脑」上积累的优势。淏楠在此时入局,总有那么一丝「49 年加入国军」的意味。

不过,这些选择看似很跳,但背后的思考一脉相承,既关乎个人志趣,也有对技术发展和未来空间的判断。所以从 Agent 到多模态再到具身,一路做下来,淏楠收获了什么?这几个方向的实际进展,与外界的感知又有哪些不同?前段时间很火的 Minimax H3、GPT Astra,到底会带来哪些改变?这期播客,我们就沿着他的经历聊了下来。

聊到最后,淏楠谈起具身很兴奋。现在入局具身,可能不但不是 49 年入国军,反而恰好赶上了具身的 GPT-3 时刻?

【人类博物馆】

导游:曲凯,42章经创始人

54 号珍藏:王淏楠,前腾讯混元多模态 RL infra 负责人、主导开源多模态强化学习框架 UniRL,曾在 MiroMind 参与 Agent 研发,现于某具身智能公司负责基模预训练。

【时光机】

Part 1 从 Agent 到多模态

  • 02:03 为什么会从在 MiroMind 做 Agent,转去在混元做多模态 RL infra?

  • 06:13 国内外 RL 的差距到底在哪?

  • 07:45 Agent 和多模态的关系其实可以很紧密

  • 08:56 做 Agent 和做多模态,其实都是围城

  • 11:32 大厂不太能做具身?

  • 12:37 多模态最后只有两条变现途径

Part 2 聊聊视频生成

  • 14:11 Seedance 到底为啥这么好?

  • 15:14 多模态的竞争可能没那么激烈?

  • 16:26 视频生成现在发展到什么程度了?

  • 19:20 「抽卡」依然会存在,但概念可能会发生变化

  • 21:37 视频生成继续发展下去,可能会解锁什么样的机会?

  • 22:22 MiniMax H3 到底什么水平?

  • 23:54 实时互动的技术真的成熟了吗?

Part 3 从多模态到具身

  • 27:45 好多人做世界模型都做迷茫了…

  • 30:55 做具身的两种正确路线

  • 32:22 为什么 Astra 给具身圈子带来了比较大的震动?

  • 37:27 聊聊具身训练的 reward 和数据

  • 40:12 具身的「大脑」,最后会变成大模型厂商的竞争吗?

  • 41:59 在现在这个时间节点去做具身,是不是 49 年入国军?

  • 45:24 Agent 开发的场景还是不够多

  • 46:42 多模态还有创业公司的机会吗?

  • 47:38 具身里可能迎来了 GPT-3 时刻?

【The gang that made this happen】

  • 制作人:陈皮

  • 剪辑:二琳、陈皮

  • 片头:Mondo Bongo - Joe Strummer & The Mescaleros

  • 片尾:Alpine Decline - I Got Up (Just Like John Sinclair Told Us To)

展开Show Notes
mimic4fun
mimic4fun
2026.10.24
34:53 据我所知…robot 团队采的数据没有在 6 这一代模型中使用,空间理解能力的来源来自 blender 这些数据
boubou_LXyA:意思是astra的能力来源是仿真数据训出来的是吗
曲凯
:
是,最近这个似乎是新共识了
共4条回复
blakeM
blakeM
2026.10.25
喜欢这些一线从业者的分享
陈皮皮屁:谢谢支持!
37:34 只要轨迹建模做得足够精准,就能给出非常精细的控制量。但是直接用大模型输出控制量给机械臂或者执行机构是有问题的,大模型的带宽远小于机械臂的带宽,更不用说是电机之类的带宽,所以更好的方式就是大模型输出运动轨迹给主控制芯片,主控制芯片再把运动轨迹拆解成电机或者其他执行机构的控制指令下发给具体执行的部件,这样能弥补带宽上的不足,而且中间的主控芯片或者说能解析运动轨迹的设备完全可以做成专门场景使用的产品,这也解决了太泛化导致的专门场景下精确度不高的问题
嘉宾叙述风格很平实,听感很舒服
这期很好呀,帮圈外人狠狠的补了很多课,mapping 很清楚,一下子把以前很多碎片化的东西串起来了
网海拾贝
网海拾贝
2026.10.25
感谢主播!希望更多这种结合实操经验的表述,比那些光谈理论的强太多了👍
gegrgr-
gegrgr-
2026.10.25
喜欢这一期!!
长跑男
长跑男
2026.10.25
真是滚滚大潮啊
唐小毅
唐小毅
2026.11.04
姚踢走庞是对的,听起来内部没有形成合力,还是小团队各搞各的,怪不得混元模型这么烂,浪费资源
嘉宾对 code2video 这条路线有看法吗
AKA-MAVIS
AKA-MAVIS
2026.10.29
這期很乾貨啊
鱼米粒
鱼米粒
2026.10.28
嘉宾对具身的分析好棒!
AI游探
AI游探
2026.10.28
22:27 视频会成为主要的沟通交流载体么
freedom_96vV
freedom_96vV
2026.10.27
很有收获的一期,点赞
王小明_Uktm
王小明_Uktm
2026.10.26
34:19 toolcall啊