147
2📝 本期播客简介
本期我们克隆了：The Information Bottleneck · Yuandong Tian on Recursive Self-Improvement
原内容更新时间：2026-10-05
GPT-5 帮田渊栋研究神经网络里的 grokking 现象，让他的效率达到原来的 6 到 10 倍；他因此意识到，AI 不只是在辅助研究，也可能很快改变研究者的工作方式。
在 The Information Bottleneck 播客中，田渊栋从自己在 Meta FAIR 的研究经历，谈到递归自我改进还卡在哪里：模型能快速执行，却往往想不出值得探索的新点子。他也解释了为什么研究者需要从更高层提出问题、检验结果，以及为什么开源模型和更高效的学习机制会影响 AI 的下一步发展。
👤 本期嘉宾
田渊栋曾在 Meta FAIR 工作多年，长期研究深度学习、强化学习与神经网络可解释性，近期离开 Meta 联合创办 Recursive Superintelligence，致力于打造能自我改进的 AI。他与 GPT-5 合作研究神经网络的 grokking 现象，亲身体验到模型对研究效率的提升，也以此为契机探索递归自我改进。
⏱️ 时间戳
00:40 从优化到深度学习
08:26 无梯度探索与潜在表征
12:26 强化学习走向现实问题
24:46 大模型改变研究方式
34:46 新架构与学习效率
42:25 自我改进与开源未来
🌟 精彩内容
💡 GPT-5 让研究效率提高数倍
田渊栋让 GPT-5 协助证明定理、检验结论、提出思路；他估计效率提升了 6 到 10 倍，而且当时代码还是自己写的。
"我觉得，它可能让我的效率达到了原来的 6 到 10 倍。"
💡 模型还不会自己找到好问题
他认为，模型目前能按人的思路推进研究，却很难独立提出有意思、值得探索的方向。人仍要判断什么重要，也要验证 AI 给出的问题和答案。
"我们还是需要人来发起，还是需要人来思考，哪些事情重要，值得去做。"
💡 创意可能比写代码更难自动化
研究循环里，模型能帮忙实现和测试，但把不同领域的好点子迁移过来、找到真正有洞见的组合，才是关键难题。
"所以真正的问题是，怎样才能想出对的点子，让这个点子指向对的洞见。"
💡 递归自我改进的瓶颈不只是上下文
模型在重复性工作上表现不错，因为网上有大量相关数据；要让它跳出惯常思路、做更有创造性的事，可能需要能用少量数据高效学习的新架构。
"那模型可能就没有足够的数据来做这些事。"
💡 开源让更多人用上 AI 能力
田渊栋认为，开源便于检查成果、让其他人接着改进，也能避免最强模型只掌握在少数机构手里；他看好开源模型继续跨过可用门槛。
"我们确实希望让每个人都能用上 AI 的能力，让每个人都有机会，有平等的机会，做出好的工作，用模型提升自己。"
🌐 播客信息补充
本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的
使用 AI 进行翻译，因此可能会有一些地方不通顺
