1
0不论是 WAIC，或者 WRC，机器人都在做着类似的事情：叠衣服、会分拣快递、会折纸盒。业内人知道这些动作背后是海量数据和顶尖算法，普通人却容易生出另一种感受：最好的机器人也只能做到这些吗？
许华哲是清华交叉信息研究院的助理教授，也创办了破壳机器人；薛峥嵘是他的学生，现在是破壳的 CTO。他们的目标是让机器人走进家庭。对于这一天何时到来，两人都相当乐观，薛峥嵘给出的时间是一年。
这一年里需要解决的问题着实不少：泛化到底指什么，它有哪些维度；失败的数据为什么比成功的数据更值钱；家庭场景里的奖励函数该怎么设；触觉研究做得很漂亮，为什么可能没有用；世界模型和 VLA 的区别在哪；本体的形态还有多少选项。
但或许我们会有另一种期待，或许我们也会迎来一个 GPT 3.0 一样的转折点，它并没有直接解决问题，而是让一些问题变得不再有必要去特意求解。
Outline
两条不同的入行路径：从清华电子系到多伦多大学交换，从中学生英才计划到本科阶段的 CVPR oral
一只狐狸和一只刺猬：许华哲为什么找薛峥嵘，以及他画的那张饼
常见任务里的 80%，零样本泛化会在一年内到来
麻婆豆腐：三个多月做出的端到端 demo，以及它难在哪
泛化的维度：物体摆放、物体类别、场景，再往上是组合泛化
被低估的失败数据：网球出界一点点，是非常高质量的失败
为什么不直接用视频生成模型：系扎带的任务会崩坏成一根丝带
捣乱测试，以及选择家庭场景的理由——足够乱，所以信息量足够大
家庭场景里的奖励函数：尽量只给稀疏的 0 和 1
触觉的矛盾：手工艺品与可口可乐，以及几千块与一百多块的传感器
本体的限制：叠被子的负载、跨本体迁移、双足与轮式之争
世界模型和 VLA 的区别：先想象出画面，再反推动作
端到端为什么被相信：架构并不复杂，是数据把它跑通的
数据的质量比数据量更重要：在同一个房间里踩十万小时也没有用
给 2017 年的自己，和给十年后的自己
本期提到的人与概念
零样本泛化：遇到没见过的物体、摆法或场景，不经过额外训练就能完成任务。这一期的核心争论落在它什么时候到来。
长程任务：需要连续完成多个步骤才算成功的任务。每一步的成功率会连乘，链条越长越难。做一盘菜是典型。
Diffusion Policy：2023 年提出的动作生成方法，把「下一步怎么动」当成图像生成那样的去噪过程来做。两位嘉宾把它看作端到端路线走通的起点之一。
action chunk：模型一次吐出一小段连续动作，而不是一帧一帧地吐。节目里说这是个很小的改动，效果上却是分水岭。
push T：一个基准任务，用机械臂把 T 形块推到指定位置。只能推、不能抓，考的是接触与摩擦下的连续控制。
VLA：视觉与语言输入、动作输出的一类模型的统称。日常语境里通常特指其中一种具体做法，节目里花了一段区分这两层含义。
世界模型：让模型先预测环境接下来会变成什么样，再从预测出的画面反推该怎么动。
稀疏奖励与稠密奖励：强化学习里只在最终成功时给一次分，或者在过程中不断给分。前者难学，后者容易把机器人限死在人设计好的路径上。
跨本体：在一种机器人硬件上学到的能力，迁移到另一种硬件上。
视触觉传感器：用摄像头拍弹性膜的形变来读取触觉的一类传感器。
AlexNet（2012）：让深度学习在图像识别上确立地位的模型。两位嘉宾对它的记忆不同，正好对应各自入行的年份。
SAM（Segment Anything，2023）：Meta 的通用分割模型。节目里用它说明一个领域的「刷榜时代」是怎么结束的。
π0：Physical Intelligence 于 2024 年发布的机器人基础模型，被许多人视作端到端方法真正跑通的标志。
GelSight：视触觉传感器里最早、也最常被引用的一支工作。
卢策吾：上海交通大学教授。薛峥嵘本科时上过他的课。
高阳：清华大学交叉信息研究院助理教授。节目里提到他主张把触觉纳入 VLA。
制作
制作人/主播：君泽
声音设计/剪辑：君泽、Layla
知乎：闻烜、CC、冬菇
