人形机器人通用控制器系列，继前两期对Xue Bin Peng和李钟毓的采访，这期播客我邀请到了人形机器人通用控制器领域家喻户晓的PHC这篇论文的作者罗正宜博士。 罗正宜（Zhengyi Luo）博士毕业于CMU，他的导师是 Kris Kitani 教授。在此之前，他于2019年在宾夕法尼亚大学获得了本科学位，并曾在 Kostas Daniilidis 教授的指导下开展研究工作。罗正宜博士的的研究兴趣主要集中在视觉、学习与机器人技术的交叉领域。主要研究方向包括人体姿态估计、人-物交互建模、人类运动建模等。 这期节目的文字稿可以在微信公众号搜索“石麻笔记”查看。因为主播副业能挤出时间来持续更新已经不易，剪辑略微粗糙，听众多多包涵。 文章涉及的论文及嘉宾社交媒体： PHC：www.zhengyiluo.com OmniGrasp：www.zhengyiluo.com PULSE：www.zhengyiluo.com PDC：www.zhengyiluo.com OmniH2O：omni.human2humanoid.com HOVER：hover-versatile-humanoid.github.io ASAP：agile.human2humanoid.com 罗正宜社交媒体： X/Twitter: @zhengyiluo LinkedIn: Zhengyi (Zen) Luo Website: www.zhengyiluo.com Google Scholar: scholar.google.com 小红书：正合时宜

强化学习早期的出圈是在星际争霸2击败职业玩家的AlphaStar，是Open AI击败Dota 2世界冠军战队OG的OpenAI Five，更是DeepMind击败李世石的AlphaGo，但由于在泛化性上的不足，学术与资本的关注度逐渐转冷，直到ChatGPT的出现，让人们发现强化学习与大模型结合所迸发出的泛化能力，强化学习一夜之间重新回到大众视野。在当前的Agent时代，Agent在替人们计划跨国旅行的行程、自动生成制作精良的网页的时候，不可避免的与形同黑箱的环境进行长时间且大量的交互，这种对数据的异步处理方式，越来越接近当年用AI打游戏的范式。今天有幸邀请到清华大学交叉信息学院的助理教授吴翼老师，跟我们分享他在用强化学习探索Agent道路上的心得体会。 出生于1992年的吴翼，在高三暑假代表中国参加国际信息奥林匹克竞赛，随后被清华姚班录取。2014年本科毕业后，他前往加州大学伯克利分校攻读人工智能方向，博士第一篇深度学习论文就获得了NIPS当年的最佳论文奖。博土毕业在回国任清华交叉信息学院的助理教授前，他加入了OpenAI工作了一年半，参与的游戏项目捉迷藏，是OpenAI 历史上视频点击率最高的视频。2023年，他创立边塞科技，用强化学习为更多人创造更好的智能体验。 2024年底，他受邀帮助蚂蚁集团成立了强化学习实验室。 关于吴翼老师参与的Open AI捉迷藏项目：Emergent Tool Use from Multi-Agent Autocurricula (ICLR 2020, Spotlight)（openai.com） 本期节目就来听一听吴老师对于当下AI agent智能体发展的看法，吴老师也会提到他们正在构建的开源强化学习（决策模型与服务）平台Areal，这个平台可以支持各种类型的agent的学习和开发，他们团队也已经完成部分agent应用开发，甚至也有应用到具身智能领域的一些有趣的agent。希望今天的内容对于我们各行各业的普通从业者也能带来不同的启发。 本期节目由嘉宾主持Tim来Host，节目制作由晨歌完成。 播客文字整理可以在ReSpark同名公众号《ReSpark》上查看（文字版可能发布时间滞后） 时间轴： Part 1：关于智能体与AI Agent 05:34 当我们谈论Agent，我们究竟在谈论什么？ 15:55 竞争会驱使Agent向哪里发展？ 24:44 创业公司的壁垒在于niche market与唯快不破 35:59 从AlphaGo到GPT o1，强化学习已经走过完整的技术周期 41:32 用打游戏的方式做AI Agent 54:29 用数据和工程迭代解决大模型和Agent的记忆问题 Part 2：AI的热点话题探讨 1:06:56 AGI到底离我们还有多远 1:15:33 AI self-evolution是不是炒作？ 1:24:57 Diffusion vs. Autoregression，谁是下一代的版本答案？ 1:31:03 世界模型与空间智能的发展 1:45:34 今天的具身智能到了什么阶段？与Agent怎么结合？ Part 3：伯克利求学经历与吴翼眼中的Pieter Abbeel 1:51:32 与Stuart Russell和Pieter Abbeel两位大牛合作，从他们身上看到了什么？ 1:57:49 普通人如何抓住Agent浪潮的机会

最近一段时间，我很喜欢做一些人形机器人的全身运控的科普，最近也采访了几位在这个方向上有代表性工作的一些学者。在上一篇访谈中我们提到，Peng Xue Bin是从动画（animation）的角度切入人形机器人运控专访Xue Bin(Jason) Peng：探索人形机器人全身运控的通用控制器。本期的采访嘉宾李钟毓则是从基于模型的控制理论来切入人形机器人运控，他用六年的博士生涯探索足式机器人的全身运控。 李钟毓博士毕业于加州大学伯克利分校，在Koushil Sreenath 教授的指导下开展研究。他的目标是打造安全、智能且敏捷的腿足机器人，使其成为更好的“人类伙伴”。他的研究主要聚焦于结合基于模型的最优控制与无模型的强化学习，来解决腿足机器人的控制与规划问题，也致力于推动腿足机器人能力边界的拓展，使其不仅仅局限于行走功能。 李钟毓博士将于2025年秋季加入香港中文大学（CUHK）机械与自动化系担任助理教授，研究方向为人形机器人、高动态机器人与具身智能，他正在招收优秀PhD/Postdoc/Intern，欢迎感兴趣的同学加入他的实验室！ 目录 （先发布，有时间再加时间标注，也可以参考石麻笔记公众号看文字稿） 足式机器人小脑的构建 1. 基于模型的运动控制 2. 基于RL的运动控制 3. 足式机器人的运动操作任务 4. 多智能体协同控制 5. 安全性问题 一些问题 6. 怎么定义小脑 7. 足式机器人的运控从基于模型的控制到RL过渡的关键因素 8. 足式机器人的通用控制器 9. 怎么理解RL的泛化性不好 10. RL的sim2real从不可能到可能 11. 硬件底层透明的重要性 如开头提到，李钟毓博士目前正在为他在港中文的实验室招生，仍有很多名额：博士（26 Fall入学）、博士后（最早25 Fall入职）、访问学生（本科生/硕士，随时加入）。欢迎对人形机器人、具身智能、控制理论感兴趣的同学加入！申请方式感兴趣的同学请发送一封英文邮件到: zhongyu_li AT berkeley.edu. 请包含以下内容： 标题格式：[Application] PhD/Postdoc/Visiting Student - Name - Which Track (VLA/Humanoid/Control Theory/Design) 正文简要介绍自己的研究兴趣和过往经历，附上英文简历。有国奖的同学请标明。 李钟毓主页：zyliatzju.github.io

对于从事人形机器人运动控制的朋友来说，Xue Bin（Jason）Peng 的名字一定不会陌生。过去一年中，我们看到大量高质量的人形机器人拟人演示出现在各个平台上，而这些演示背后的技术基础，很多都可以追溯到 Jason 早期提出的一系列开创性工作，包括 DeepMimic、AMP（Adversarial Motion Priors） 和 ASE（Adversarial Skill Embedding） 等。 这些方法极大地降低了人形机器人模仿学习（Imitation Learning）的技术门槛，可以说，Jason 的研究奠定了今天人形机器人实现灵活、自然运动控制的重要基础。Xue Bin（Jason）Peng目前是西蒙弗雷泽大学（Simon Fraser University, SFU）的助理教授，同时也是英伟达（NVIDIA）的研究科学家。 他的研究工作主要位于计算机图形学与机器学习的交叉领域，重点关注使用强化学习进行虚拟角色运动控制。值得一提的是，Jason 的学术成长路径也极具代表性。他的导师——Michiel van de Panne、Pieter Abbeel和Sergey Levine，分别是角色动画（Character Animation）和机器人强化学习（Robotics + RL）领域最具影响力的顶尖教授。 Jason 在硕士阶段，师从不列颠哥伦比亚大学（UBC）的图形学专家 Michiel van de Panne，这位教授不仅是 Character Animation 领域的奠基人物之一，同时也是 Andrej Karpathy（前 Tesla AI 总监）的硕士导师和 ETH Computational Robotics Lab教授 Stelian Coros 的博士导师。 随后，他在加州大学伯克利分校（UC Berkeley）攻读博士学位，师从机器学习领域重量级学者 Sergey Levine 和 Pieter Abbeel，在强化学习（Reinforcement Learning）与机器人智能领域打下了扎实而深远的基础。 这期访谈，我们的话题覆盖Jason的研究经历以及他的几篇人形机器人全身运控的奠基性工作，包括他对未来通用控制器构建的思路以及对人形机器人硬件的建议。相信这期访谈对于从事人形机器人软硬件开发的朋友们多少会有些帮助。 本期节目也特别感谢国地共建具身智能机器人创新中心学术委员会主任张强作为特邀嘉宾主持。 以下为本文目录 👇 从图形学到机器人 1. 导师的影响 2. 从图形学到机器人的Sim2Real 3. 机器人的挑战 4. 怎么做Sim2Real 经典工作介绍 5. DeepMimic 6. AMP 7. ASE 8. Masked Mimic 强化学习vs模仿学习 9. 怎么比较在locomotion方面模仿学习和强化学习的优缺点 10. RL在操作上的瓶颈在哪里？ 机器人大模型 11. 怎么看VLA？ 12. 在运控方面产业界是否超越了学术界？ 13. 未来的研究方向-通用控制器 14. 未来的通用控制器怎么做？ 15. Latent Space是否必要？ 16. 是否看好MOE？ 17. 对目前的人形机器人硬件有什么建议？ 录音质量不是很好，感兴趣的朋友可以等几天在公众号“石麻笔记”上查看中文文字整理，或者可以在Substack上查看英文文字记录链接如下：open.substack.com

ERA-42中的“Era”代表新的纪元，象征着公司致力于开启机器人技术的新时代，是“Robot Era星动纪元”的延续。而“42”这一数字则源自经典科幻作品《银河系漫游指南》中的一个梗，寓意着“宇宙的终极答案”。 星动纪元是北京清华系的一家人形机器人创业公司，成立于2023年下半年，创业初期市场普遍认为这也是一家以机器人本体和下肢运动控制能力为主的创业公司，亮点只是在于用强化学习进行控制，直到最近公司陆续发布了灵巧手以及ERA-42机器人大模型完成丰富的操作任务，才让大家认识到了公司完整的软硬件技术实力和快速的迭代能力，今天有幸邀请到星动纪元创始人陈建宇教授跟我们分享他们是如何做到这一切的。 陈建宇目前是清华大学跨学科信息科学研究院（IIIS）的助理教授。在此之前，他曾在加利福尼亚大学伯克利分校与Tomizuka教授合作，并于2020年获得博士学位。他于2015年获得清华大学的本科学位。陈建宇的研究工作聚焦于人工智能与机器人学的交叉领域，旨在构建高性能、高智能的先进机器人系统，研究兴趣包括强化学习、机器人学、控制理论和自动驾驶。 本期节目由嘉宾主持Tim来Host。 播客文字整理可以在ReSpark同名公众号《ReSpark》上查看（文字可能有滞后）。

机器人赛道的投资机会在国内已经有十几年的历史，但在这个方向上，能够做到有业绩、有认知，并且长期深耕的投资人并不多。在我看来，陈哲（Peter）就是其中做得非常出色的一位。在当前资本寒冬的背景下，陈哲刚刚成立了一只新基金——Alphaist Partners。我非常荣幸能够在他新基金成立之际，和他进行这次对谈，让我们来听听陈哲在机器人领域的投资经验，对当下具身智能的独到见解，以及他给新基金会支持的创业者们的寄语。 陈哲（Peter）是一位工程师出身的投资人。他高中毕业后前往加拿大留学，完成了电子工程的本科和研究生学业。毕业后，他的职业生涯从黑莓开始，主要从事智能手机通信相关的工作。之后，他前往硅谷，加入了Google，成为Google Glass团队的一员，专注于嵌入式系统和信号处理领域。 2016年，陈哲前往哈佛大学攻读MBA。在MBA期间，他选择回到国内，并加入了晨兴资本（后更名为五源资本），正式开启了风险投资（VC）的职业生涯。他在五源资本一直工作到2024年底，期间专注于AI和机器人领域的投资。 陈哲对机器人领域的关注始于自动驾驶领域，他曾主导投资了多家优秀公司，并密切关注技术的拓展与衍生场景。见证了自动驾驶技术外溢到其他场景的趋势，包括小米投资的石头科技推出的单线激光雷达扫地机器人，以及大疆推出的带有视觉避障功能的消费级无人机，从2017年到2018年，他开始密集布局机器人领域的投资。 如今，陈哲成立了一家新的早期美元基金Alphaist Partners，继续聚焦于AI和机器人方向的投资。 可以关注小宇宙APP搜索ReSpark，或者苹果Podcast搜索ReSpark收听播客栏目。 00:54自我介绍及新基金 第一部分：机器人行业投资经验 05:10 过去10几年机器人行业投资的观察 10:30 对机器人方向创业和投资有可能会大成的心得是什么？ 12:40 机器人2B和2C领域的企业成功的特质是什么？ 14:50 怎么看2B和2C机器人企业的空间？ 第二部分：当下具身智能赛道的投资观察 19:40 过往两年，作为机器人赛道的顶级投资人感受是什么？ 23:35 怎么理解这波机器人的技术变量？ 26:32 怎么期待技术的落地？ 31:25 可否总结通用操作创业公司的技术路径？ 37:00 怎么看只做具身模型的创业？ 42:55 关于机器人数据,怎么看机器人数据相关的创业？ 48:00 怎么看具身智能可能的落地场景？ 57:00 怎么看待通用机器人的终极场景？ 第三部分：关于工作方法和新基金 59:40 如何做到一直以来对机器人领域前沿进展保持紧密跟踪？ 62:35 推荐的内容 68:05 新基金的寄语 本期节目的文字总结可以关注公众号《石麻笔记》或ReSpark同名公众号《ReSpark》查看。也可以通过peter@alphaist.vc联系Peter。

卢策吾，作为中国具身智能领域的先行者之一，他的职业生涯起步于2002年，学习通信与信息系统，并在中科院和香港中文大学深造，逐步为后来的具身智能研究打下基础。他认为，尽管自己跨越了多个领域，但信息学科培养的全局视野和严谨思维对他后来的研究至关重要。 2013年，他开始研究三维视觉，探索如何将二维图像与三维物理世界结合，为机器人智能的突破奠定了基础。2015到2016年，他在斯坦福大学AI实验室工作，参与具身智能的前沿探索，尽管当时该领域的关注度较低，但他与团队依然保持着热情与创新。 回国后，卢策吾成为上海交通大学的教授，并与王世全共同创办了“非夕科技”，这段创业经历为他后来的穹彻智能奠定了基础。他认为，从科研到产业化的转变，要求高水平的综合素质，而这种从实践中获得的经验，让他更深刻理解整个技术闭环。 如今，卢策吾不仅是中国具身智能领域的领军人物，也在推动AI与机器人技术融合方面取得了显著成果。他的目标是让机器人更好地融入人类生活，成为真正的合作伙伴。 本期的嘉宾主持是穹彻的投资人Tim。 时间线 01:55 第一节：个人经历 1. 学术经历 2. 非夕经历 15:31 第二节：穹彻智能 3. 穹彻的数据路线 4. 如何采集机器人数据 5. 机器人开源数据集 6. 机器人的力控 7. 穹彻的具身基座模型 8. 穹彻大脑的进展 9. 长程任务如何解决 10. 怎么适应多种硬件 11. 视觉-触觉融合 12. 怎么看商业落地

《机器人五号》（Short Circuit）讲述了一个军事机器人被雷击后获得自我意识，开始探索世界的故事。影片中的机器人充满了情感和好奇心，甚至能够模仿人类的行为和思考，这种突破性的设想触动了儿时的来杰。作为星尘的创始人，他现在终于有机会去创造“真正的智能”，“将所有的信息在某个高维空间对齐”，让机器人不再仅仅是执行命令的工具，而成为能够理解环境、感知情感、自主学习的生命体。 来杰的故事始于2009年左右，当时的他并未立即踏上如今这条充满前瞻性与突破性的创业之路。作为一名年轻的工程师，来杰早期的工作集中在传统控制领域，那个时候，他还未意识到AI与机器人将成为他未来的舞台。随着时间的推移，他逐渐在强化学习的研究中找到了新的方向，并开始探索如些算法应用于运动控制的场景。 2014年，百度宣布全面加大AI投资，来杰敏锐地捕捉到了这一波变革的信号。他加入百度，参与了机器人团队的建设。当时的百度在自然语言处理（NLP）领域取得了一定的进展。来杰在团队中不仅承担着机器人相关的研究任务，也在思考一个更大的问题：AI与机器人结合的未来到底会走向何方？他深刻意识到，尽管AI的飞速发展为行业带来了许多突破，但机器人技术的进步却相对滞后。 2018年，经过深思熟虑，来杰做出了一个重要的决定——辞去百度的工作，加入腾讯，成为腾讯机器人实验室的最早期的成员。在张正友教授的带领下，来杰和Robitics X团队成员，围绕ai与机器人开始了更加深入的探索。张正友教授曾经预言，机器人与AI的融合将迎来一场革命，这一切将远远超出我们现在的认知，这也成为来杰后来的创业原动力。 2022年，对于来杰来说，是一个复杂的年份，也是他职业生涯的一个重大转折点。他和戴媛决定出来创业，成立了星尘。星尘的目标是明确的——AI与机器人的融合，是“50年一遇”的机会，类似于当年PC行业硬件与软件结合所带来的革命性突破。两年多的时间里，星尘秉承“Design for AI”的设计理念，致力于打造更加贴近人类形态、具备精细力控能力以及高效触觉反馈系统的机器人。这一切努力都是为了让机器人能够更好地融入我们的生活，构建起一种前所未有的新型关系。 夜幕降临，当星光洒落在南沙和中山那片远离城市喧嚣的土地上时，来杰常常会带着他的望远镜仰望星空。那里有无数个未解之谜等待被揭开，也有着关于头顶这片浩渺宇宙最纯粹的梦想。 “某一天，当机器人完成绕月一周的任务时，所有人都会抬头看向天际，去感受宇宙的浩渺与神秘。这个时刻会激发人们对于未知的幻想和期待，这就是人类最大的一种情感与渴望。而我们做机器人，就是希望能让人们实现这一点，帮助人类拓宽视野，探索更多的可能。虽然现在大家可能不相信，甚至觉得遥不可及，但某一天，大家会开始相信、看到、感受到。机器人在某种程度上释放了人类的创造力和好奇心，这是我们真正追求的价值....” ReSpark 邀请了星尘智能的创始人来杰和种子轮投资人德迅资本的Ted 作为本期访谈的嘉宾，播客内容非常精彩。 Ted，来自德迅的投资人，Vandy毕业，流体力学工程师cover硬件领域（机器人/消费科技），滑雪爱好者，碳水爱好者，喜欢狗狗/二次元和一切阳光美好的事物，业余吉他手和演奏级古典萨克斯，相信工科直男改变世界！过往投资案例：星尘智能/极壳/若创/时的科技/纵贯创新/享刻/Airdroid 如果你在AI硬件领域创业，可以已联系来杰的“真天使”，非常Cool非常Chill的Ted（Wechat：teddy370471） 播客目录 01:30 来杰自我介绍 06:58 Ted自我介绍 12:00 为什么在2022年那么早的时间点看到具身智能的机会？ 17:04 目前行业的进展和两年前的预期有什么不同？ 21:34 在全球具身智能的竞争格局上，星尘在什么位置上？ 28:05 机器人行业会是一个五十年一遇的大机遇，甚过电脑和手机行业。 32:32 Design for AI的机器人应该有什么特征？ 40:40 如果和PC时代类比的话，怎么看现在智能机器人在什么时间点？ 45:10 智能机器人短、中、长期的预期是什么样子？ 51:41 短期内机器人的落地预期：机器人的网吧和游戏 54:20 工业场景的机器人怎么落地 56:00 可以提供情绪价值的娱乐性机器人 60:20 世界模型和机器人数据 66:10 创业感悟 67:20 《认知神经科学》 69:15 来杰与Ted的惺惺相惜 71:24 看星星的兴趣 75:00 对机器人的热爱源于哪里？ 访谈中提到的电影：《 Short Circuit》（《机器人五号》） 访谈中提到的书籍：《认知神经科学》 欢迎关注ReSpark同名公众号ReSpark查看访谈文字。ReSpark是几位看AI、机器人方向的投资人伙伴共创的栏目，我们希望能够在技术变革的大时代下，从现在开始记录，记录那些推进这个领域前进的学者、创业者、投资人在不同阶段的成果、故事和心路历程。 欢迎联系播客主页的三位主理人： Cindy 投资人（Wechat： cindyxin0223） Jamie 投资人（Wechat：Jamie_wang_7） Lin 媒体人（Wechat：scghmd） When intelligence reshapes reality, the future sparks now！Welcome to Respark！

在具身智能爆火2年之后，在2024年的年尾，我们聊一个理想很丰满但现实很骨感的问题：具身智能可靠性！这次论坛，我们邀请了在解决可靠性问题最有机会的两条路线，RL和model based control的代表性学者，来一起交流如何将机器人可靠性逼进99.9x%大关。 这期栏目是一个在线Panel的录音，邀请到的嘉宾是（嘉宾介绍以姓氏拼音顺序）： 罗剑岚是伯克利人工智能研究(BAIR)实验室的博士后学者，与Sergey Levine教授合作。2022年回到学术界全职工作之前，他在Google [X]担任研究员，与Stefan Schaal教授合作了两年。他于2020年在加州大学伯克利分校获得硕士和博士学位，还曾在DeepMind和Everyday Robots工作过。罗剑岚在强化学习+真机这条路线上持续深耕七八年，也于近期推出强化学习+真机这条路线上非常有代表性的两篇工作SERL和HiI SERL。 卢宗青现任北京大学计算机学院长聘副教授，国家级青年人才，智源学者。主要研究方向是强化学习、多模态大模型、通用智能体。旨在赋予智能体自主获取技能、决策与推理能力，在开放世界中完成复杂任务、合作和交流，迈向通用人工智能。 石冠亚是卡内基梅隆大学(CMU)机器人研究所和计算机科学学院的助理教授，领导 LeCAR 实验室(Learning and Control for AgileRobotics)，于2022年在加州理工学院(Caltech)完成博士学位:导师为Soon-Jo Chung和Yisong Yue。2017年，他获得清华大学工学学士学位。从2022年到2023年，他在华盛顿大学保罗·G·艾伦计算机科学与工程学院担任博士后学者，与Byron Boots合作。 朱秋国是云深处创始人兼CEO，同时也是浙江大学控制科学与工程学院副教授，主要研究领域为仿生机器人和机器智能，主持研制人形机器人“悟空”、四足机器人“绝影"以及四轮足机器人“山猫"。他于2008年获得浙江大学机械工程学士学位，2011年和2020年分别获得浙江大学控制科学与工程硕士和博士学位。他也是云深处科技(DEEP Robotics)的创始人，云深处是全球四足机器人行业应用的引领者，自主研发的“绝影"系列机器人在国际同类产品中已经达到先进水平，并率先在电力、消防、隧道、安防等领域投入使用。 播客目录： 01:00 嘉宾介绍 04:30 在智能机器人浪潮来临之前就选择了这个方向，浪潮来临前后的感受 14:16 RL和Control之于Locomotion 15:20 石冠亚：如何将RL和Control结合 26:20 朱秋国：RL和Control在产业和学术方面的应用 33:05 卢宗青：RL对人形机器人的控制 37:00 罗剑岚：RL+真机 48:00 石冠亚：Leaning在操作上的路径怎么看 55:22 罗剑岚：Leaning在操作上的路径对比 69:00 对人形机器人的控制什么时候可以达到可靠 69:30 卢宗青：基于RL的路线做人形控制结合真机数据 73:20 卢宗青：人形达到99%可靠性需要多久？ 76:20 朱秋国：目前行业应用的可靠性如何？人形什么时候可以达到今天四足的可靠性？ 83:00 石冠亚：现在人形机器人的控制迭代速度如何看待？ 91:27 RL的算法是否应该对机器人领域做一些理论的创新？ 101:40 对机器人方向的学生如何调节迷茫期？ 罗剑岚主页：https://people.eecs.berkeley.edu/~jianlanluo/ 石冠亚主页：https://www.gshi.me/ 朱秋国主页：https://person.zju.edu.cn/0011353/657053.html 云深处主页：https://www.deeprobotics.cn/ 卢宗青主页：https://www.ai.pku.edu.cn/info/1139/2783.htm 访谈中提到的工作：Diffusion Policy、Hil-SERL、SERL、H2O、OmniH2O、ABS、AnyCar等，可以过几天查看石麻笔记公众号，会有具体查看访谈的总结，会有更多关于论文以及方法的细节。 因为是学术访谈，并且嘉宾很多在海外，所以涉及很多学术名词会用英文表达。这里简单罗列一些英文名词： RL：Reinforcement Learning 强化学习 Control：控制，特指基于模型的控制（Model Based Control） Humanoid：人形机器人 Sim：仿真，是一种机器人训练常用的仿真器 Sim2Real：仿真到现实，虚拟到现实的转化 欢迎关注ReSpark同名公众号ReSpark，记录AI和物理世界融合过程中的精彩商业访谈内容。欢迎关注石麻笔记，记录AI和物理世界融合的学术成果。

随着具身智能在国内的关注度快速提高，两年前还非常冷门的AI Robotics如今已经成为产业界和学界关注度最高的话题。我相信两三年后，国内会有越来越多在这个领域世界级的工作出现，人才密度也会快速提升。但在今天，我们不得不承认的一个现实问题是，国内高质量的AI Robotics学术人才是比机器人数据更稀缺的要素。 真实机器人数据通过堆人堆钱是可以快速解决的，但人才的培养需要时间。在机器人学习领域，有一个非常有意思的现象是，全世界范围内，最顶级的论文常常出自华人学者。可以说华人学者引领着AI Robotics这个领域的发展，但反观国内，因为代际差异和学术重点的不同，目前真的非常缺少AI Robotics领域有经验的学者。AI Robotics国内人才的话题也是我一直想来探讨，借着这个话题，我非常荣幸的邀请到了两位即将毕业的国内本土培养的AI Robotics方向博士生来探讨一些他们的研究方向，中美学术代际差异，具身大模型路径等问题。 汶川是清华大学交叉信息研究院（IIIS）的博士五年级学生，导师是高阳教授。他从2019年开始跟随高阳老师进行相关研究，主要专注于端到端的模仿学习，探讨如何融合不同来源的数据，以提升具身智能系统的性能和鲁棒性，从而实现高效、安全的智能系统。 吕峻是上海交通大学的博士四年级学生，导师是卢策吾教授。他的研究路径是基于仿真来学习机器人智能，目标是开发能够在现实世界中执行各种任务的机器人，以解决人类在生产和生活中面临的问题。 时间线： 00:30 吕峻博士求学经历和研究方向 01:33 汶川博士求学经历和研究方向 03:08 当初为什么选AI机器人这个方向作为博士研究方向？ 07:40 为什么AI机器人在北美会比国内早这么多年热起来？ 09:15 国内近几年在AI机器人领域的进展主要由什么因素刺激？12:27 中美在AI机器人领域的代际差异如何？ 17:57 关于发顶会 19:20 汶川研究方向详细介绍 25:13 吕峻研究方向详细介绍 31:23 仿真未来发展的挑战有哪些 34:40 模仿学习的挑战有哪些 38:00 怎么看数据融合？ 47:00 具身大模型框架有哪些 （这个时间轴梳理有更自动的方法吗?) 吕峻博士主页：https://lyuj1998.github.io/ 汶川博士主页：https://alvinwen428.github.io/ 主播：Jamie 非专业剪辑，正在寻找给力的播客剪辑小伙伴，欢迎留言联系。

大家好，欢迎来到SOTA！这是一档分享AI机器人领域最前沿的产业和学术动态的播客，我是Jamie！ 这期节目我们非常荣幸的邀请到了四位具身智能领域优秀的企业家和学者探讨具身智能领域的热门话题。四位嘉宾包括Covariant的联合创始人兼CEO 陈曦（Peter Chen），UCSD助理教授王小龙，清华大学交叉信息研究院助理教授许华哲，和云深处创始人朱秋国。 嘉宾介绍： 陈曦（Peter Chen）是Covariant.ai的首席执行官兼联合创始人。Covariant是一家领先的AI机器人初创公司，已经融资超过2亿美元。Covariant正在构建用于机器人学的基础模型，使机器人可以对物理环境进行识别、推理和操作。在创办Covariant之前，陈曦（Peter Chen）曾是OpenAI的研究科学家，也是加州大学伯克利分校人工智能研究实验室（BAIR Lab）的研究员，他专注于强化学习、元学习和无监督学习。Peter在领先的学术期刊上发表了30多篇论文，引用超过2万次。 朱秋国是云深处创始人兼CEO ，同时也是浙江大学控制科学与工程学院副教授，主要研究领域为仿生机器人和机器智能，主持研制人形机器人“悟空”和四足机器人“绝影”。承担国家重点研发项目、国家自然科学基金等项目10余项，发表学术论文40余篇，授权发明专利40余项。云深处科技（DEEP Robotics）是全球四足机器人行业应用的引领者，自主研发的“绝影”系列机器人在国际同类产品中已经达到先进水平，并率先在电力、消防、隧道、安防等领域投入使用。 王小龙是加州大学圣迭戈分校（UCSD）电子工程系的助理教授，同时隶属于TILOS NSF人工智能研究所。他在卡内基梅隆大学（CMU）获得机器人学博士学位，并在加州大学伯克利分校进行博士后研究。他的研究聚焦于计算机视觉和机器人学的交叉领域。他特别关注从视频和物理机器人交互数据中学习3D和动态表示。这些综合表示被用于促进机器人技能的学习，旨在使机器人能够在真实物理世界中与各种对象和环境有效交互。他获得了NSF CAREER奖、Intel Rising Star Faculty奖，以及来自Sony、Amazon、Adobe和Cisco的研究奖励。 许华哲博士现为清华大学交叉信息研究院助理教授，博导，清华大学具身智能实验室负责人。博士后就读于斯坦福大学，博士毕业于加州大学伯克利分校。其研究领域是具身人工智能（Embodied AI）的理论、算法与应用，具体研究方向包括深度强化学习、机器人学、基于感知的控制（Sensorimotor）等。其科研围绕具身人工智能的关键环节，系统性地研究了视觉深度强化学习在决策中的理论、模仿学习中的算法设计和高维视觉预测中的模型和应用，对解决具身人工智能领域中数据效率低和泛化能力弱等核心问题做出多项贡献。顶级智能机器人会议CoRL'23最佳系统论文得主，在IJRR, RSS，NeurIPS等发表顶级期刊/会议论文四十余篇，代表性工作曾被MIT Tech Review，Stanford HAI等媒体报道。曾在IJCAI2023、IJCAI2024、ICRA2024担任领域主席/副主编。

大家好，欢迎来到SOTA！这是一档分享AI机器人领域最前沿的产业和学术动态的播客，我是Jamie！ 这期节目我们来聊一聊具身智能模拟器simulator。我也非常荣幸的邀请到了机器人模拟器开源项目simulately的发起人之一耿浩然和主要参与者之一秦誉哲进行访谈。 耿浩然是北京大学图灵班20级本科生，同时也是2023年北京大学年度人物，他从大一开始在北大王鹤老师的具身智能团队进行科研实习，他科研成果突出，作为本科生在 CV和机器人顶会上发表了多篇论文。 ​秦誉哲是加利福尼亚大学圣地亚哥分校（UCSD）的博士生，由王小龙和苏昊教授共同指导，本科毕业于上海交大。他的研究领域涉及使用五指手进行灵巧操纵、3D感知以及强化学习（RL）和模仿学习（IL）。 00:02:56:为什么会做Simulately 00:04:59:Simulately之后的迭代 00:10:03:机器人模拟器目前的生态格局是什么样子 00:15:04:做一个好的Simulator最大的挑战是什么 00:20:07:强化学习和模仿学习对Simulator的选择有什么不同？ 00:25:08:如何解决Sim2Real Gap问题 00:30:11:模仿学习和强化学习哪条路更可行？ 00:35:07:Anyteleo遥操作为什么也需要模拟器？ 00:40:11:模仿学习可以你直接部署的真机上吗？ 00:45:16:目前常见的物理引擎对比 00:50:19:3D生成和模拟器的关系 00:55:21:触觉在操作上的必要性