一堂「强化学习」大师课｜对谈清华叉院助理教授吴翼

当 AI 预训练的 scaling law 开始放缓，强化学习 (RL) 接过接力棒，拉出了一条漂亮的第二曲线。

在当下的 Agent 热里，有 RL 能力的团队，也是最被看好和押注的。

但很多人对 RL 都没有一个足够清晰的理解，包括我自己。

所以这期我们请到了国内 RL 领域的专家、清华大学交叉信息研究院助理教授吴翼，来讲讲 RL 的原理到底是啥、RL+LLM 的路径是怎么发展起来的、目前存在哪些非共识、未来还会怎么演变等等（聊完感觉像上了一堂免费大师课）。

而且聊着聊着，我们发现，人生就是一个 RL 的过程，区别是 RL 有明确的奖励函数，但是人生没有。可能如吴翼教授所说，我们首先都要以一种「最大熵」的方式去主动和不确定的世界交互，才能找到自己的奖励函数，优化自己的人生曲线。

最后，吴翼教授的团队最近开源了一个 RL 框架 AReaL-boba，在 SOTA 7B 上跑出了 AIME24 61.9 的分数，也欢迎大家去 GitHub 关注。

【人类博物馆】

导游：曲凯，42章经创始人

32 号珍藏：吴翼，清华大学交叉信息研究院助理教授，前 OpenAI 研究员。

【时光机】

• 1:51 到底什么是 RL？
• 4:25 人生就是一个强化学习的过程
• 6:22 RL 和 LLM 是怎么结合起来的？
  • 7:01 强强联手第一步：InstructGPT，实现指令遵从
  • 10:07 过程中衍生出了 RLHF
  • 11:41「慢思考」的需求催生了 RL 的应用
• 16:10 为什么说 Anthropic RL 做得特别好？
• 21:17 行业对 RL+LLM 的最优路径形成共识了吗？
• 25:11 RL 起来之后，对 Agent 的影响是什么？
• 32:11 Intelligence = LLM (理解) × RL (决策)，二者缺一不可
• 34:14 Scaling law 的未来
  • 34:33 Pretraining 的两个发展方向
  • 36:43 RL 还处于早期，进入深水区后可能会走向分化
• 40:02 大模型团队的组织架构要如何设计？
• 43:21 一个反常识：对 AI 来说，理解比生成更难，token 消耗更大
• 47:38 现在做 Agent 一定需要一个懂 RL 的人吗？
• 49:32 为什么 RL 人才这么稀缺？
• 56:10 RL 目前三大分支：泛化 (DeepSeek)、代码 (Anthropic)、Agent (OpenAI)
• 58:55 框架对 RL 意味着什么？
• 1:02:51  RL 在海内外进展还有明显差距
• 1:04:42 想做好 RL，基建≫数据＞算法
• 1:06:05 研究 RL 收获的一些人生启发

【Reference】

• 吴翼的 PhD 毕业论文：On Building Generalizable Learning Agents
• 吴翼获机器学习顶级会议 NIPS2016 最佳论文奖的论文： Value Iteration Network
• 吴翼提到的他非常喜欢的有关 Diversity-Driven RL 的两篇论文：Iteratively Learn Diverse Strategies with State Distance Information、Discovering Diverse Multi-Agent Strategic Behavior via Reward Randomization
• 吴翼团队和蚂蚁研究院开源的强化学习训练框架：AReaL-boba

【The gang that made this happen】

• 制作人：陈皮、Celia
• 剪辑：陈皮
• Bgm：Mondo Bongo - Joe Strummer & The Mescaleros