E244|机器人走错路了?与苏度韩铮聊聊具身智能的3D数据、路径分野与硅谷竞赛硅谷101

E244|机器人走错路了?与苏度韩铮聊聊具身智能的3D数据、路径分野与硅谷竞赛

77分钟 ·
播放数9203
·
评论数10

机器人已经能在舞台上做到翻跟头、表演武术了,但要让它在开放环境里伸手帮你拧开一个瓶盖,难度陡然跃升2到3个量级——因为那一刻,它需要理解眼前的物理世界。
这正是苏度科技想啃下的硬骨头。苏度科技联合创始人、董事长苏昊是ImageNet的核心作者之一,师从李飞飞,这家公司走了一条与硅谷主流纯大脑“黑盒”大模型不太一样的道路——软硬件协同设计,上下分层架构,上层负责任务规划与环境理解,下层用仿真(Sim-to-Real),让机器人在虚拟世界里经历几百万年的进化,再迁移到现实。
这条路已经跑出了一定成效:面对从未见过的新物体,他们的零样本通用抓取单次成功率接近100%。
本期硅谷101,我们邀请苏度科技CEO韩铮,一起聊聊机器人“动手”怎么实现?他预测,接下来会有更多的硅谷公司会重新回到“上下分层”的方向上来。

【主播】
泓君,硅谷101创始人,播客主理人
【嘉宾】
韩铮,苏度科技联合创始人&CEO

【你将听到】
机器人“动手”的数据根基
03:17 为什么做全栈(大脑+本体)通用机器人?
07:14 苏昊早年经历:从图片标注ImageNet,到3D数据集ShapeNet
11:08 3D数据收集,难在哪里?
13:21 仿真需要亚毫米级精度,视频训练无法达到
16:33 什么是Sim-to-Real(从仿真到现实)?
18:08 创业时机的判断:DALL-E带来的数据拐点

Sim2Real技术验证与关键突破
21:40 仿真器的技术内核:经典物理法则+强化学习
24:17 数据集质量与规模的平衡:自建结构化3D数据集
28:05 实际效果如何?零样本通用抓取,一次性成功率98%
32:11 回应Demo质疑:去学术会议现场随机环境中演示
34:22 基础Zero-Shot泛化能力比长程任务串联更为关键
35:45 灵巧手虽好,但不是当下的性价比最高的方法

技术路线之争
38:16 商业模式思考:硬件+底层模型+API,类比智能手机生态
41:23 仿真器与机器人本体,必须软硬件协同设计强绑定
44:04 如何教会机器人拧瓶盖?加入真实世界数据更高效
44:51 难度对比:操作物体比运动控制难2~3个数量级
47:28 白盒与黑盒之争:分层模型,在预训练中融入物理理解
51:11 Sapien仿真器,让机器人像幼童第一次拧瓶盖一样操作
53:27 数据冷启动困境:无法复刻特斯拉,必须靠仿真做冷启动
55:38 嘉宾预言:被硅谷抛弃的“上下分层”即将重回主流

全球机器人竞争格局
59:08 实现机器人动手,软硬件强结合的公司才能做到
01:00:34 硅谷明星公司点评:Skild、Figure、Optimus
01:05:40 为什么最看好DeepMind+波士顿动力Atlas的组合?
01:09:01 亚马逊机器人,场景多但整合困难
01:10:02 为什么多数公司退回垂类?因为不知道通用该怎么走
01:12:43 不做垂类押注,而是构建开发者生态,目标是成为机器人时代的“iOS+硬件”

【延伸阅读】
节目中提到的Demo:sudo R1评测——60分钟连续无剪辑实测

【硅谷101正在招聘】
《硅谷101》招聘多个全职岗位,欢迎加入我们的超酷的深度内容工作团队!
👉🏻点击查看招聘详情

【监制】
泓君
【后期】
Amei
【运营】
朱婕
【BGM】
Particle Emission - Silver Maple
My Moon and Your Sun - Hampus Naeselius
On the March - Brendon Moeller
Quietly Tense - Marten Moses

【在这里找到我们】
公众号:硅谷101
收听渠道:Apple Podcast|Spotify|小宇宙|喜马拉雅|蜻蜓FM|荔枝FM|网易云音乐|QQ音乐
其他平台:YouTube|Bilibili 搜索「硅谷101播客」
联系我们:podcast@sv101.net

Special Guest: 韩铮.

展开Show Notes
SamZh
SamZh
1 天前
分享一些笔记:
1. 不要被机器人 Demo 轻易说服,关键看它是否针对现场做过适配
节目从一个很好的判断框架开始:单看 Demo,无法知道机器人是否提前采集过场地数据、针对物体或流程做过专项训练。因此,真正有价值的展示不是“在预设场景下成功一次”,而是能否在未训练的新环境、面对未见过的随机物体时仍保持稳定表现。
这也是苏度强调“零样本、开放环境抓取”的原因。

2. “动手”比“移动”难两到三个数量级
嘉宾认为,让机器人行走、保持平衡,主要是控制机器人自身;但让它抓取、插线、拧瓶盖、操作陌生物体,必须同时理解:
物体形状、材质、摩擦力和可动部件;
自己的手与物体、桌面及环境的关系;
接触后的受力反馈;

下一步动作造成的物理后果。
因此,操作不是“动作序列生成”那么简单,而是一个带有感知、预测、反馈与纠错的闭环系统。

3. 机器人缺的不是泛视频数据,而是可用于物理操作的高精度 3D 数据
节目回顾了从 ImageNet 到 ShapeNet、PartNet 的演进。核心逻辑是:
互联网已有海量 2D 图片和视频;
但机器人操作需要的不只是“看见一个杯子”,还要知道它的空间几何、零部件关系、瓶盖旋向、材质和动力学约束;
视频能提供粗略的三维线索,却不够精准;
对导航来说,10 厘米误差或许能接受;但插线、抓取、拧盖通常需要毫米甚至亚毫米级精度。
节目并不否认大规模数据的重要性,而是强调:在具身操作中,** 数据的结构化程度和物理可用性**比“仅仅更多”更关键。
4. Sim-to-Real 的关键不是“画得像”,而是“物理规律和训练效率的取舍”
苏度的路线是让机器人先在仿真环境中经历海量训练,再迁移到真实世界。嘉宾特别强调,仿真器不需要无限逼近视觉真实:
可以降低渲染精度;
但必须尽可能保留物理一致性;
并在一张或多张 GPU 上并行运行大量环境;
让机器人以强化学习探索操作策略。
也就是说,仿真不是做“漂亮的数字孪生”,而是做一个足够真实、足够高效、能规模化产生有效训练的实验场。

5. 开放世界泛化能力,是检验基础操作模型的核心指标
苏度展示的重点不是某个固定任务,而是对未进入训练集的物体进行抓放:

连续约 1 小时;

测试 100 多种物体、200 多次操作;

单次抓放成功率接近 98%;

首次失败后,通过闭环调整策略,可进一步提高成功率;

并在学术会议现场让参会者拿随机物品测试。

这里的关键判断是:** 演示是否允许现场随机性和未知性**。如果产品只能在固定场景、固定物体、固定流程下完成长任务,仍可能是高质量工程演示;但距离“基础能力已泛化”还有距离。

6. 上下分层不是保守,而是将“可控、可解释的底层能力”与“泛化推理的上层能力”解耦
韩铮认为,纯端到端路径把感知、理解、规划、动作都压进一个黑盒,短期迭代快,但在物理世界里会遇到稳定性和可解释性的难题。

苏度主张的分层思路大致是:

下层:基础操作技能和物理闭环,例如抓取、接触、受力、旋拧、纠错;
上层:VLA/语言模型式的任务理解、规划和指令拆解;
中间层:将高层意图转化成可验证、可执行的低层技能调用。

节目中很重要的一层判断是:未来落地到商业化时,行业可能重新重视“上层智能 + 下层可靠技能”的组合,而不是完全依赖端到端黑盒。

7. 最终竞争不只是模型竞争,而是全栈系统能力竞争
嘉宾反复强调,真正解决 Sim-to-Real gap,不能只靠算法:

需要数据、仿真、强化学习、控制、硬件本体协同;

开源研究方案往往对电机、噪声、控制曲线、上电状态等工程细节做了简化;

一旦走向开放世界和稳定商用,软硬件耦合会成为决定性能力。

这也是节目对“造脑”和“造身体”二分法的修正:在机器人操作这一层,脑与身体最终很难完全分开。

8. 商业化方向:做“硬件 + 基础操作模型 + API”的机器人基础设施
苏度不想只做某一个垂直场景的机器人应用,而是希望提供:

机器人硬件;

可复用的底层操作模型;

让第三方开发者构建场景应用的 API / 平台能力。

本质上,这是把自己定位为机器人时代的底层操作系统和能力层,而不是只卖一个“会做咖啡”的机器人。

精彩言论
“机器人如果是要对于物体去做操作,它这个难度要高两到三个数量级。”

“可能从今年的下半年开始,上下分层的这种结构会重新再回到主流里边来。”

“对机器人的操作,10厘米的误差是绝对不能忍受的。”

“我们需要在一张 GPU 上面,开出成百上千,甚至上万、上百万个并行的环境。”

“零样本稳定地对于开放世界的基础物体操作,短操作的成功率其实更加核心和关键。”

更多内容:https://younavi.me/doc/rQsq4vqyTS7yd93oniClG8NO_u0
哄哄_q4uo
哄哄_q4uo
8小时前
很佩服嘉宾在科研上的投入和推动 但是我觉得这条路很难走通 从底层来看LLM能起来是因为语言映射了人类的思维 然后获取语言数据比较简单 就是人类的思维已经先被digitalize了 但是现在还是缺乏一个很自然批量的方法digitalize物理世界 所以就算这么做 也无法达到我们期待的像LLM的突破性效果
莹_fZu3
莹_fZu3
14小时前
24:20 Sim2Real Real2Sim 高精度仿真训练后迁移真机,真机数据回流仿真进行算法、模型自优化
DePanda
DePanda
1 天前
00:40 这不就跟某些大模型和手机一样吗,为了刷榜/测评进行特调🤣
入昵称
入昵称
12小时前
太强了
雄哥good
雄哥good
13小时前
嘉宾和我们想的一些思路 一致怎么联系到呢
莹_fZu3
莹_fZu3
14小时前
动力学模型及其任务操作大数据库,可能就是具身通向泛化的桥梁
秃秃_H
秃秃_H
2天前
3DGS路线做世界模型呢?
Nowherewomen:高德