【本期内容】前Meta AI Director田渊栋在Meta深耕11年,主导了强化学习、大模型推理与长上下文等多项前沿研究,近期刚刚以Co-founder身份开启新的创业旅程。本次对话涵盖大模型竞争、记忆与存储、推理前沿路线、Agents对社会的冲击等议题。
【主播】曹卿云,硅谷坐标Silicon Valley Vector创始人。
【采访嘉宾】田渊栋,CMU机器人学博士。在Meta AI(FAIR)深耕11年,担任研究总监。
【本期看点】
05:10 大模型的护城河:数据,算法,infra,人才
12:24 大模型有两种记忆:上下文是工作记忆,权重是世界观
20:20 记忆研究的核心难题:从死记硬背到顿悟的跃迁26:16 Context Window没有天花板,需求正在质变
37:39 存储危机:模型训练和推理引发的内存供应链瓶颈36:53 预训练的天花板与强化学习的上界
55:30 Agent时代的社会冲击:洪水已来,大多数人浑然不觉【关于硅谷坐标 Silicon Valley Vector】立足美国硅谷, 聚焦前沿科技与科技投资趋势。在 AI 重新定义人类边界的时代,我们深入科技与资本的第一现场,为全球受众提供准确、深度、独立的专业报道。
【还可以在以下地方找到我们】
B站 | 小宇宙 | 微信公众号 | 喜马拉雅
Youtube | Apple Podcast | Spotify | Linkedin | X

