世界模型之争:预测对了,就算理解了吗?|对话于开丞

94分钟 ·
播放数7155
·
评论数8

AI已经能生成令人惊叹的视频。但画面看起来合理,是否意味着它真的理解了重力、空间,以及物体之间的关系?

如果让机器人倒一杯水,我们应该给它看无数遍倒水的视频,还是让它先理解“杯子”“水”和“倾倒”,再把这些概念组合起来?

这一期《会友镖局·科技会客厅》,我们邀请于开丞,从自动驾驶聊到世界模型的不同路线,再聊到一个创业团队的技术取舍:为什么调整已经做出成绩的方向?当通用大模型开始操纵机械臂,创业公司的机会又在哪里?

【本期嘉宾】

于开丞|西湖大学自主智能实验室负责人、西湖大学特聘研究员、博士生导师、西湖数智(Awomo)创始人兼CEO,曾在阿里达摩院从事自动驾驶研究。

【本期判断】

世界模型这个名字之下,装着不同的技术目标和商业选择。 于开丞的选择,是让模型理解物理现象,并尝试通过概念的拆解与组合,获得举一反三的能力。在他的判断里,衡量这条路线的关键,是模型面对没见过的场景时,能否做出有效判断,以及这种能力能否随着训练规模扩大而持续提升。

【你会听到】

  • 为什么视频生成、空间生成、机器人决策,都被叫作世界模型?

  • 追求画面的美感,与追求物理真实性,会把模型带向哪些不同方向?

  • “概念世界模型”想解决什么问题?倒一杯水为什么是个好例子?

  • 通用大模型能操纵机械臂,是否意味着其他技术路线会被替代?

  • 一个17人的团队,如何在尚未收敛的技术方向上创业?

  • 有了AI,“老炮儿”的经验为什么可能更值钱?

【时间线】

第一章|同样叫世界模型,做的可能是不同的事

00:00 从生成图片、视频,到理解物理世界

01:15 从自动驾驶出发,为什么在2023年选择探索世界模型

08:12 语言模型与世界模型:从抽象知识出发,还是从物理信号出发

20:07 一次概念梳理:世界模型、空间智能与物理智能

26:42 互动娱乐、理解世界与操作世界,不同目标如何影响技术选择

第二章|从“看过很多遍”,到“能够举一反三”

32:32 用倒水解释“概念世界模型”:杯子、水和动作能否重新组合?

33:46 什么是隐空间?模型如何压缩和表达对世界的认识

38:47 可规模化训练与“智能斜率”:团队究竟在验证什么

45:57 通用大模型操纵机械臂,给世界模型团队带来了什么启发

48:22 让物理学家学切菜:能完成任务,与高效完成任务之间的距离

第三章|为什么调整一条已经做出成绩的路线

57:34 与杨立昆的思路有哪些共鸣,方法又有哪些不同

59:45 回看2024年:生成数据,再用数据训练机器人,这条路有什么局限?

01:04:19 为什么没有顺着原来的技术成果直接创业

01:06:12 半年左右的并行探索:转向并非一夜之间发生

01:10:24 数据、算法、算力,以及团队现阶段真正关注的场景

第四章|技术尚未收敛,创业者如何往前走

01:17:37 17人的团队:“老炮儿”与“小天才”如何搭配

01:18:48 AI改变工作方式之后,工程经验的价值

01:22:22 从研究者到创业者,思考问题的方式发生了什么变化

01:24:10 世界模型的“ChatGPT时刻”,需要出现什么能力

01:30:30 从解决一个问题,到追问一种方法能否规模化

01:32:27 非共识的选择:承认原有路线的局限,需要付出什么代价

【核心观点】

生成目标会影响模型的能力方向。 于开丞认为,服务内容创作与服务真实物理任务,对数据、评价标准和训练资源的要求存在差异,不能只凭生成画面的效果判断物理理解能力。

举一反三,是团队选择这条路线的核心理由。 他们希望模型通过学习、拆解和组合概念,处理训练中没有直接见过的场景,而不必为每种情况重新收集完整示例。

通用模型的进步,也在改变创业公司的考题。 除了证明任务能被完成,还需要证明自己的方案在效率、成本和规模化方面有价值。

AI让经验有了新的发挥方式。 于开丞观察到,工具能够放大执行能力,但工程判断、问题拆解和结果把关,依然需要长期积累。

【名词解释】

概念世界模型:本期嘉宾介绍的技术思路,强调关联语言概念与物理现象,通过概念的拆解、组合,探索跨场景的泛化能力。

智能斜率:嘉宾用来描述模型能力提升速度的表达,关注随着概念积累和组合增加,能力能否更快增长。

【延伸信息】

小红书:会友播客

小助手微信:huiyouhz

展开Show Notes
april0401
april0401
4天前
主持人和嘉宾都不行
这啥嘉宾啊,从头到尾在吹牛逼
常常QA
常常QA
5天前
世界模型最近挺热闹的
HD540587o
HD540587o
4天前
主持人打断嘉宾发言的次数可太多了
学吧,学无止境
KiKiBecky
KiKiBecky
4天前
嘉宾的语速也太快了
HD322915d
HD322915d
5天前
AI还是进化的太快了
qidada
qidada
5天前
世界模型有点深,但是未来可期