321
1关于Human Data，我们在2025年用了大半年的时间去展现以及科普一些最前沿的学术工作，集锦可以参考总结篇：Human Data—The “Key” to Robot Data。去年的工作汇总更多的是在全身运动控制，在进入2026年，随着EgoScale等工作发布，我们看到了人类数据在机器人操作上的可能性。在EgoScale发布的同期，一篇名为“To Summon a Sensorimotor Ghost”博文吸引了我的关注，我也非常荣幸能够邀请到这篇博文的作者Danfei来做这次专访。Danfei Xu也是我在2025年AI+Robotics华人图谱关注到的学者，他在AI机器人领域有很多出色工作，尤其近两年在如何利用人类数据上有很多探索，比如EgoMimic，EgoBridge，InMimic，EMMA以及EgoScale。
Danfei Xu是Georgia Tech的助理教授，同时也参与NVIDIA Research的部分研究工作。他的研究范围比较广，从较为传统的机器人问题，比如manipulation planning和motion planning，到一些较新的方向，例如imitation learning、learning-based planning以及robot foundation models等。我们这次访谈主要聚焦在一个最近比较受关注的问题：机器人是否能够从人类数据中学习，以及能否从这些人类数据中提取出对机器人有用的知识。
第一部分 为什么会关注Human Data
1. 基于人类数据的分类
第二部分 关于Human data的建模和采集
2. 不同技术路线对应的人类数据？
3. 如何获取多模态的人体数据？
4. 视觉信息是否应该带深度？
5. AI眼镜公司有机会替代Aria吗？
6. 可穿戴眼镜普及的推动效果？
7. 第一视角和第三视角哪种视角更有用？
8. 第一视角的数据可以是RGB吗？
9. 真正可以scale机器人的human data的收集方式
10. 机器人数据的收集需要等穿戴设备先普及吗？
11. 人体局部和全身数据怎么协同？
12. 全身和局部数据采集能放在同一个设备里？
第三部分 关于人类行为的建模
13. 怎么对人类行为进行建模？
14. 人类行为建模有哪些尝试？
15. 怎么看真机数据采集？
16. 近期的几个工作介绍
17. human data使用的takeaways是什么？
18. 怎么看现在操作上的sys2和sys1？
19. 如何将System 2围绕长期目标实现？
20. 世界模型会是System 2 的基础架构？
第四部分 关于Human-robot transfer
21. 怎么解决Human-robot transfer问题？
22. 真正的通用机器人是否遥远？
23. 通用机器人什么时候有雏形？
