AI已经能生成令人惊叹的视频。但画面看起来合理,是否意味着它真的理解了重力、空间,以及物体之间的关系?
如果让机器人倒一杯水,我们应该给它看无数遍倒水的视频,还是让它先理解“杯子”“水”和“倾倒”,再把这些概念组合起来?
这一期《会友镖局·科技会客厅》,我们邀请于开丞,从自动驾驶聊到世界模型的不同路线,再聊到一个创业团队的技术取舍:为什么调整已经做出成绩的方向?当通用大模型开始操纵机械臂,创业公司的机会又在哪里?
【本期嘉宾】
于开丞|西湖大学自主智能实验室负责人、西湖大学特聘研究员、博士生导师、西湖数智(Awomo)创始人兼CEO,曾在阿里达摩院从事自动驾驶研究。
【本期判断】
世界模型这个名字之下,装着不同的技术目标和商业选择。 于开丞的选择,是让模型理解物理现象,并尝试通过概念的拆解与组合,获得举一反三的能力。在他的判断里,衡量这条路线的关键,是模型面对没见过的场景时,能否做出有效判断,以及这种能力能否随着训练规模扩大而持续提升。
【你会听到】
为什么视频生成、空间生成、机器人决策,都被叫作世界模型?
追求画面的美感,与追求物理真实性,会把模型带向哪些不同方向?
“概念世界模型”想解决什么问题?倒一杯水为什么是个好例子?
通用大模型能操纵机械臂,是否意味着其他技术路线会被替代?
一个17人的团队,如何在尚未收敛的技术方向上创业?
有了AI,“老炮儿”的经验为什么可能更值钱?
【时间线】
第一章|同样叫世界模型,做的可能是不同的事
00:00 从生成图片、视频,到理解物理世界
01:15 从自动驾驶出发,为什么在2023年选择探索世界模型
08:12 语言模型与世界模型:从抽象知识出发,还是从物理信号出发
20:07 一次概念梳理:世界模型、空间智能与物理智能
26:42 互动娱乐、理解世界与操作世界,不同目标如何影响技术选择
第二章|从“看过很多遍”,到“能够举一反三”
32:32 用倒水解释“概念世界模型”:杯子、水和动作能否重新组合?
33:46 什么是隐空间?模型如何压缩和表达对世界的认识
38:47 可规模化训练与“智能斜率”:团队究竟在验证什么
45:57 通用大模型操纵机械臂,给世界模型团队带来了什么启发
48:22 让物理学家学切菜:能完成任务,与高效完成任务之间的距离
第三章|为什么调整一条已经做出成绩的路线
57:34 与杨立昆的思路有哪些共鸣,方法又有哪些不同
59:45 回看2024年:生成数据,再用数据训练机器人,这条路有什么局限?
01:04:19 为什么没有顺着原来的技术成果直接创业
01:06:12 半年左右的并行探索:转向并非一夜之间发生
01:10:24 数据、算法、算力,以及团队现阶段真正关注的场景
第四章|技术尚未收敛,创业者如何往前走
01:17:37 17人的团队:“老炮儿”与“小天才”如何搭配
01:18:48 AI改变工作方式之后,工程经验的价值
01:22:22 从研究者到创业者,思考问题的方式发生了什么变化
01:24:10 世界模型的“ChatGPT时刻”,需要出现什么能力
01:30:30 从解决一个问题,到追问一种方法能否规模化
01:32:27 非共识的选择:承认原有路线的局限,需要付出什么代价
【核心观点】
生成目标会影响模型的能力方向。 于开丞认为,服务内容创作与服务真实物理任务,对数据、评价标准和训练资源的要求存在差异,不能只凭生成画面的效果判断物理理解能力。
举一反三,是团队选择这条路线的核心理由。 他们希望模型通过学习、拆解和组合概念,处理训练中没有直接见过的场景,而不必为每种情况重新收集完整示例。
通用模型的进步,也在改变创业公司的考题。 除了证明任务能被完成,还需要证明自己的方案在效率、成本和规模化方面有价值。
AI让经验有了新的发挥方式。 于开丞观察到,工具能够放大执行能力,但工程判断、问题拆解和结果把关,依然需要长期积累。
【名词解释】
概念世界模型:本期嘉宾介绍的技术思路,强调关联语言概念与物理现象,通过概念的拆解、组合,探索跨场景的泛化能力。
智能斜率:嘉宾用来描述模型能力提升速度的表达,关注随着概念积累和组合增加,能力能否更快增长。
【延伸信息】
小红书:会友播客
小助手微信:huiyouhz