莫一林，清华大学自动化系长聘副教授，灵御智能联合创始人、首席科学家。清华大学自动化系学士，卡内基梅隆大学计算机工程博士，加州理工学院博士后，曾任新加坡南洋理工大学助理教授。 莫一林更愿意称自己为控制工程师：模型可以有误差，事情要能做成。从给企业提交算法，到与老朋友一起创办灵御智能，他想做一个自己可以掌控的系统，也在创业中发现了人和组织的新复杂性。 在完全自主的机器人到来之前，他希望先造一台"好开"的机器人，让人顺手地操作、积累好数据，再逐步减少人工介入。我们从控制理论聊到人机共驾，也聊工程与创业中的选择：两个答案都对，为什么仍然必须取舍？最后回到十年后的自己——如果公司真的成功运行，他还想做些什么？ 时间轴 * 00:02:30 为什么自称 control engineer，而不是 scientist * 00:23:04 控制"死了"吗？成熟技术为何无处不在，却又难以被看见 * 00:39:47 所有模型都是错的，为什么有些仍然有用 * 00:43:01 十毫秒内必须做完：控制系统为什么需要确定性与契约 * 00:49:27 从提交一个算法，到想做一个自己可以掌控的系统 * 01:03:14 软件还是硬件：工程没有唯一最好的答案 * 01:09:35 为什么选择机器人创业，以及老朋友如何成为合伙人 * 01:18:03 机器人为什么要"好开"：操作体验如何影响数据质量 * 01:28:36 从遥操作到人机共驾：人的动作怎样交给机器人 * 01:37:44 通用智能不等于通用人形：轮子、双足与四足怎样选 * 01:46:45 既然人能远程接管，AI 为什么不能也在云端：算力、延迟与安全接管 * 01:58:30 创业是一个需要长期维护、不断变化的系统 * 02:04:43 做 A 对，做 B 也对，为什么一起做反而可能错 * 02:10:02 让知乎上的莫一林评价自己的公司，他会说什么 * 02:11:41 十年后的自己：回学校教书、新的体验，以及从零到一 本期概念 * 控制论（Cybernetics）与控制理论（Control Theory）：控制论由维纳在 1948 年提出，研究动物与机器中的控制和通信，范围宽，延伸到哲学和社会科学。上世纪 80 年代，它与系统论、信息论一起被称为"老三论"，在中国影响很大。控制理论是一门工程数学，研究如何通过反馈设计控制器。 * 控制、反馈与鲁棒性：控制关心如何让系统按目标运行；反馈根据实际表现调整动作；鲁棒性关注系统在一定范围的误差和扰动下，能否保持所需的表现。机器人领域常说 Sim to Real，即把仿真里训练好的策略搬到真实世界；莫一林认为，控制做的是 Real to Sim，让真实系统表现得更接近理想模型。链接为 Åström 与 Murray 合著的《Feedback Systems》，Richard Murray 是莫一林在加州理工做博士后时的导师。 * 数据处理不等式：在满足相应马尔可夫条件的信息处理链中，后处理不能增加与源变量之间的互信息（见链接第 10 页，命题 1.12）。节目中称作"信息处理不等式"，并借它讨论：用户没有充分传达的需求，不能仅靠更复杂的算法凭空补出。 * 伯德图（Bode Plot）：用对数坐标画出系统对不同频率信号的放大倍数和相位变化，是经典控制设计的基本工具。在计算机普及之前，工程师靠手绘伯德图来调整控制器。 * 强化学习：利用奖励信号学习策略。早期研究强化学习的人里，有一大批来自控制理论，它本质上是求解最优控制的一种方法。节目讨论的问题是：强化学习取代的，是控制本身，还是依赖人工经验的控制设计？ * 实时系统、确定性与契约：计算不仅要得到结果，还要在约定时间内完成。控制系统追求确定性（determinism），每一次都能按时做完，"平均很快"不够。这种时间约定也是模块之间的契约，让一个复杂系统可以拆开设计、再拼起来。 * 遥操作、动作映射与模仿学习：人远程操控机器人，需要把人的动作转换成机器人可执行的动作。灵御采用力与位置混合的映射，而非简单复制人的姿势。高质量的遥操作数据，可以作为示范，供机器人通过模仿学习掌握技能。 延伸阅读与项目 * Mobile ALOHA：移动双臂遥操作与模仿学习项目，节目讨论了它带来的硬件与操作启发。 * 《苦涩的教训》（The Bitter Lesson）：强化学习先驱萨顿 2019 年的短文。长期来看，能随算力扩展的搜索与学习方法，总会胜过依赖人类知识的精巧设计。 * 卡尔维诺《控制论与幽灵》：收入《文学机器》，是节目中文学与控制讨论的一个入口。 * 模型预测控制（MPC）：利用模型预测和滚动优化决定控制动作，节目将它作为控制领域利用计算的例子。 补充说明 * "改变我能改变的，接受我不能改变的"出自美国神学家尼布尔的《宁静祷文》，不出自圣经。 * 维纳访问清华大学是在 1935 至 1936 年。 * Mobile ALOHA 于 2024 年 1 月发布。 制作 * 制作人／主播：君泽 * 声音设计／剪辑：君泽、ChatGPT * 知乎：闻烜、CC、冬菇

2016 年，王乃岩和图森未来从“还不知道怎么控制一辆车”开始做自动驾驶。此后他担任图森中国 CTO，经历了全无人演示、量产订单，也经历了公司突然崩塌； 后来，他去小米负责 L3 技术探索，是因为仍想看见技术真正进入产品、被千家万户使用。在他看来，完全解决自动驾驶或许等于 AGI，但自动驾驶的商业化并不需要等到 AGI。 现在，王乃岩更愿意用 Physical AI 而不是具身智能来描述下一阶段的问题：智能如何理解、预测并改造物理世界；表征、世界模型、在线推演和强化学习应该如何组合；GPT-3 式的泛化与 AlphaGo 式的超越人类，究竟是哪两条不同的坐标轴。 聊到最后，问题又回到他自己：过去的成功也会形成路径依赖，而他想保持少年感，拥有一次“无限开火权”，毫无保留地打一场痛快仗。 Outline * 00:01:56 王乃岩的第一个订书机回答 * 00:03:53 从小霸王学习机到信息学竞赛 * 00:08:23 为什么去浙江大学 * 00:13:42 从 ACM 转向计算机视觉 * 00:20:52 读博不是预先规划好的道路 * 00:38:12 把深度学习第一次用进目标追踪 * 00:47:25 百度 IDL、CMU、MXNet，以及一个每天都有惊喜的技术爆发期 * 01:04:27 自动驾驶的第零年，还不知道怎么控制一辆车 * 01:08:51 完全自动驾驶等于 AGI，但自动驾驶商业化不等于 AGI * 01:14:05 图森带来了什么：全无人演示的高光、酸甜苦辣的成长，以及 2024 年的突然崩塌 * 01:18:11 为什么去小米做量产：技术的意义，是最后能被千家万户真正用起来 * 01:21:55 L2、L3 与 L4 的鸿沟 * 01:33:35 AlphaGo 时刻与 GPT-3 时刻：超越人类与初步泛化 * 01:38:08 Physical AI 的路径分歧：只把模型堆大，为什么可能无法获得时序和空间感知 * 01:44:11 世界模型的四种用法 * 01:51:16 为什么总要表达反对：行业需要不同的声音，也需要避免错误认知变成共识 * 01:54:58 做一个有少年感的老登 * 01:58:36 遗憾、失败，以及他想要的一次“无限开火权” * 02:02:45 不要被现实锤得失去年轻感 本期提到的人与概念 * 信息学竞赛与 ACM-ICPC：在定义清楚、数据准备好的范围内解决问题。王乃岩把比赛看作快速进入陌生领域的入口，而不只是争夺名次。 * 稀疏表示与鲁棒矩阵分解：王乃岩读博早期使用的一组方法。他把这些方法带进目标追踪，从“研究方法”走向了“解决视觉问题”。 * 目标追踪（Tracking）：在连续画面中定位同一目标。它是王乃岩从方法研究进入计算机视觉的关键任务，也成为他早期代表性工作的方向。 * AlexNet 与 ImageNet：AlexNet 在 2012 年的 ImageNet 挑战赛上显著领先传统方法，成为深度学习重新进入主流视野的重要节点。 * 百度 IDL：百度深度学习研究院。王乃岩在 2014 年加入实习，参与 ImageNet 相关工作，并近距离经历中国早期深度学习研究的高峰期。 * 陈天奇：XGBoost 的主要作者，也是 MXNet 的核心推动者。王乃岩谈到 MXNet 时特别强调，最重要的 credit 应该给陈天奇。 * MXNet：早期有重要影响力的开源深度学习框架。节目里把它放在 Caffe 之后的“第二代框架”语境中讨论。 * 图森未来（TuSimple）：以自动驾驶卡车为核心方向的公司。王乃岩从公司早期转型开始参与，后来负责中国团队的技术工作。 * L2、L3 与 L4：L2 仍要求驾驶员持续负责；L3 在系统正常工作范围内把驾驶责任交给系统；L4 则需要在限定运行范围内完成无人驾驶。 * ODD（Operational Design Domain）：自动驾驶系统被允许工作的条件与范围，包括道路、天气、速度和区域等限制。 * PNC（Planning and Control）：规划与控制模块，决定车辆接下来怎么走、怎么把动作执行出来。端到端模型改变的是实现方式，不意味着规划控制能力消失。 * 自动驾驶 2.0：王乃岩用来描述的一条路线：把 L2 的泛化与通用性，和 L4 的安全、可靠、可解释结合起来。 * AlphaGo 时刻与 GPT-3 时刻：前者强调在特定任务上超越人类，后者强调模型开始展现通用与泛化能力；两者不是同一种突破。 * 表征学习：让模型形成能够压缩和组织世界信息的内部表示。王乃岩认为，越不依赖单一任务设计的表征，越可能具有真正的泛化性。 * Physical AI：能够在物理世界中感知、推演并行动的人工智能。相比“具身智能”，王乃岩认为这个名称更宽泛，也更准确地覆盖自动驾驶等不同形态。 * 世界模型：用于预测环境如何演化的模型。节目里按离线/在线、开环/闭环拆成四种用法，并区分像素生成与潜在表征上的预测。 * 柯尔莫哥洛夫复杂度：用描述一个对象所需的最短程序来衡量其复杂度。节目里借它讨论智能是否可以理解为对世界规律的极致压缩。 制作 * 制作人/主播：君泽 * 声音设计/剪辑：君泽、ChatGPT * 知乎：闻烜、CC、冬菇

不论是 WAIC，或者 WRC，机器人都在做着类似的事情：叠衣服、会分拣快递、会折纸盒。业内人知道这些动作背后是海量数据和顶尖算法，普通人却容易生出另一种感受：最好的机器人也只能做到这些吗？ 许华哲是清华交叉信息研究院的助理教授，也创办了破壳机器人；薛峥嵘是他的学生，现在是破壳的 CTO。他们的目标是让机器人走进家庭。对于这一天何时到来，两人都相当乐观，薛峥嵘给出的时间是一年。 这一年里需要解决的问题着实不少：泛化到底指什么，它有哪些维度；失败的数据为什么比成功的数据更值钱；家庭场景里的奖励函数该怎么设；触觉研究做得很漂亮，为什么可能没有用；世界模型和 VLA 的区别在哪；本体的形态还有多少选项。 但或许我们会有另一种期待，或许我们也会迎来一个 GPT 3.0 一样的转折点，它并没有直接解决问题，而是让一些问题变得不再有必要去特意求解。 Outline * 00:01:52 两条不同的入行路径：从清华电子系到多伦多大学交换，从中学生英才计划到本科阶段的 CVPR oral * 00:05:55 一只狐狸和一只刺猬：许华哲为什么找薛峥嵘，以及他画的那张饼 * 00:09:15 常见任务里的 80%，零样本泛化会在一年内到来 * 00:10:48 麻婆豆腐：三个多月做出的端到端 demo，以及它难在哪 * 00:13:05 泛化的维度：物体摆放、物体类别、场景，再往上是组合泛化 * 00:18:45 被低估的失败数据：网球出界一点点，是非常高质量的失败 * 00:24:57 为什么不直接用视频生成模型：系扎带的任务会崩坏成一根丝带 * 00:30:11 捣乱测试，以及选择家庭场景的理由——足够乱，所以信息量足够大 * 00:35:33 家庭场景里的奖励函数：尽量只给稀疏的 0 和 1 * 00:40:18 触觉的矛盾：手工艺品与可口可乐，以及几千块与一百多块的传感器 * 00:46:19 本体的限制：叠被子的负载、跨本体迁移、双足与轮式之争 * 00:52:35 世界模型和 VLA 的区别：先想象出画面，再反推动作 * 01:01:11 端到端为什么被相信：架构并不复杂，是数据把它跑通的 * 01:10:50 数据的质量比数据量更重要：在同一个房间里踩十万小时也没有用 * 01:20:06 给 2017 年的自己，和给十年后的自己 本期提到的人与概念 * 零样本泛化：遇到没见过的物体、摆法或场景，不经过额外训练就能完成任务。这一期的核心争论落在它什么时候到来。 * 长程任务：需要连续完成多个步骤才算成功的任务。每一步的成功率会连乘，链条越长越难。做一盘菜是典型。 * Diffusion Policy：2023 年提出的动作生成方法，把「下一步怎么动」当成图像生成那样的去噪过程来做。两位嘉宾把它看作端到端路线走通的起点之一。 * action chunk：模型一次吐出一小段连续动作，而不是一帧一帧地吐。节目里说这是个很小的改动，效果上却是分水岭。 * push T：一个基准任务，用机械臂把 T 形块推到指定位置。只能推、不能抓，考的是接触与摩擦下的连续控制。 * VLA：视觉与语言输入、动作输出的一类模型的统称。日常语境里通常特指其中一种具体做法，节目里花了一段区分这两层含义。 * 世界模型：让模型先预测环境接下来会变成什么样，再从预测出的画面反推该怎么动。 * 稀疏奖励与稠密奖励：强化学习里只在最终成功时给一次分，或者在过程中不断给分。前者难学，后者容易把机器人限死在人设计好的路径上。 * 跨本体：在一种机器人硬件上学到的能力，迁移到另一种硬件上。 * 视触觉传感器：用摄像头拍弹性膜的形变来读取触觉的一类传感器。 * AlexNet（2012）：让深度学习在图像识别上确立地位的模型。两位嘉宾对它的记忆不同，正好对应各自入行的年份。 * SAM（Segment Anything，2023）：Meta 的通用分割模型。节目里用它说明一个领域的「刷榜时代」是怎么结束的。 * π0：Physical Intelligence 于 2024 年发布的机器人基础模型，被许多人视作端到端方法真正跑通的标志。 * GelSight：视触觉传感器里最早、也最常被引用的一支工作。 * 卢策吾：上海交通大学教授。薛峥嵘本科时上过他的课。 * 高阳：清华大学交叉信息研究院助理教授。节目里提到他主张把触觉纳入 VLA。 制作 * 制作人/主播：君泽 * 声音设计/剪辑：君泽、Layla * 知乎：闻烜、CC、冬菇

原文祯是我的中学同学，当我与知乎合作，开始这一档播客的策划的时候，几乎第一时间想到，应该找她来聊一期。 首先当然是因为她是一位杰出的机器人学家。文祯现在是伊利诺伊大学香槟分校（UIUC）计算机系助理教授，RoboTouch 实验室创始人。 此前，她在清华大学机械工程系本科，MIT 博士，师从 Edward Adelson，是视触觉传感器 GelSight 的核心研发者之一——这项技术让机器人的指尖第一次拥有了接近人类皮肤的分辨率。 而且，她的研究周期，几乎跨越了触觉的整个寒冬。 2012 年入行时，触觉正处在它最冷清的年代；十三年后，触觉被不少人视为通用机器人的最后一块拼图。文祯的研究贯穿了这个领域从冷到热的整个周期：从传感器的设计与制造，到触觉与视觉的跨模态感知，到触觉仿真，再到跨传感器的通用触觉表征。 2025 年，文祯获 IEEE RAS Early Career Award，这是机器人领域给青年学者的最高荣誉之一。我很想知道，当实验室只剩下她一个学生的时候，她是怎么走下来的，而当这个领域变得热闹起来的时候，她似乎也并没有着急参与其中。 这期节目里，我们会聊文祯如何一头扎进触觉这个领域，聊触觉究竟是什么，它和视觉有着怎样的不同，触觉会以怎样的方式拓展 robotics 的边界，触觉传感器发展的瓶颈究竟在什么地方，而她为什么一直坚持在触觉这个领域。 Outline 00:55 开场 02:24 十八年前的高考志愿：去机械系造「聪明的身体」 04:25 「进了清华机械系，发现是做铸锻焊的」 08:33 最好的机器人学者，需要是某种通才 11:20 去 MIT：Adelson 从视觉转向触觉 12:20 触觉的 80 年代：先行者们为什么纷纷退圈 17:10 15000 美元一个的传感器，和「量没上去」的真相 20:00 一柜子念不出名字的化学试剂 22:37 GelSight：从一个大盒子，到机器人的指尖 26:00 人的触觉和机器人的触觉，是两种东西 29:53 一个被当成噪音的信号 37:27 「十年后，你现在学的知识一点用都没有」 39:32 实验室唯一的学生：触觉最冷的那几年 44:38 摸西红柿：把一个直觉变成定量研究 46:50 Connecting Look and Feel：照片完全不同，人一眼知道是同一块布 55:40 Sergey Levine 为什么「拉黑」了触觉 01:06:09 「道法万物」：她理解的本质 01:09:25 在仿真里重建一个传感器 01:15:36 真正的瓶颈是接触模型：摩擦力，一个物理界都没有共识的东西 01:22:29 Kitchen Artist 为什么不用 GelSight：「我研究的是触觉，不是 GelSight」 01:27:00 一件毛衣：可编程针织机做成的全身触觉皮肤 01:32:00 让所有传感器说同一种语言：触觉最 critical 的问题 01:39:30 学界的问题，产业界的问题，和三个 open question 01:44:42 触觉在机器人身上，到底怎么用 01:52:04 「为了证明触觉有用而找任务」——一个尖锐的批评，和她的回应 01:55:54 怎么判断真问题：「像喜欢梵高还是莫奈」 01:57:43 快问快答，以及她的拒绝回答 本期提到的人物与概念 张文增：清华大学机械系教授，原文祯本科时的科研启蒙导师，研究灵巧手，以支持本科生做科研著称。 Edward（Ted）Adelson：MIT 教授，原文祯的博士导师。以人类视觉与感知研究著称，职业生涯横跨神经科学、认知科学、计算机视觉，2010 年前后转向触觉，是 GelSight 技术的开创者。 GelSight：一种「用看实现摸」的视触觉传感器：柔软的胶面接触物体产生形变，内置相机拍下形变，再通过算法还原出接触面的精细几何和力——分辨率接近甚至超过人类指尖。 BioTac：2010 年代最流行的商业触觉传感器之一，指头形状，节目中提到它售价 15000 美元一个——触觉传感器「贵」的经典例子。 Jeremy Fishel：BioTac 的开发者，博士毕业后创业将其商业化。节目中那句「如果能像 iPhone 一样一年卖几百万个，我可以把成本降到 20 美元」出自他。 Photometric Stereo（光度立体）：计算机视觉的经典技术：用不同方向光照下物体的明暗变化，反推出表面的三维几何。GelSight 用它从相机图像还原接触面形状——「用看实现摸」的原理核心。 视触觉传感器（Vision-based Tactile Sensor）：用摄像头「看」柔软表面的形变来实现触觉的传感器路线，GelSight 是代表。相比传统的电信号式触觉传感器，分辨率高出几个数量级。 Slip Detection（滑移检测）：检测「手里的东西正在滑」。人靠触觉本能地做到这件事（杯子一滑手就握紧），机器人做到它极难，是触觉最经典的应用之一。节目中她把一度以为是噪音的信号，识别为滑移的特征。 Contrastive Learning（对比学习）：一种训练方式：让「同一个东西的不同观察」在表征空间里靠近，「不同东西」远离。Connecting Look and Feel 用它逼出跨模态一致的表征。 Andrew Owens：原文祯在 MIT 时的合作者，做视觉出身，把她「带入」了神经网络，Connecting Look and Feel 等工作的共同作者。现任教于康奈尔大学（节目中称「安柱」）。 Sergey Levine：UC Berkeley 教授，机器人学习领域最有影响力的学者之一，坚定的「数据派」。节目中那位相信「一千个数据不够就一万个」、最终「拉黑」了触觉的合作者。 TRI（Toyota Research Institute）：丰田在北美的研究机构，机器人研究规模很大。原文祯博士毕业前后在此实习，第一次深入接触了仿真。 CMU 机器人研究所（Robotics Institute）：卡内基梅隆大学的机器人研究机构，全球规模最大的机器人研究单位之一，原文祯在此任教四年后转至 UIUC。 Jeannette Bohg（Janet）：斯坦福大学教授，原文祯博士后期间的合作导师。她提到，选择 Janet 的一个重要考量，是想学习一位年轻女性学者如何带团队。 Sim-to-Real：在仿真里训练机器人、再迁移到真实世界的路线。省数据省硬件，但仿真和现实之间的差距（gap）是永恒的难题。她做触觉仿真，正是为了缩小这个 gap 里「传感器」那一块。 接触模型（Contact Modeling）：描述两个物体接触时会发生什么（会不会滑、怎么变形）的物理模型。节目中她认为这是当前触觉仿真真正的瓶颈——连摩擦力本身，物理学界都还没有共识。 Sensor-invariant Representation（跨传感器通用表征）：她近年的主线工作：不同触觉传感器像在说不同「方言」，数据互不相通；这项工作学出一个抹去传感器差异的通用表征，让新传感器只需少量标定就能接入。她认为这是触觉领域当前最关键的问题。 制作 声音设计 / 制作：君泽 制作人 / 主播：君泽 知乎：闻烜、CC、冬菇