3
0今天的这篇的主题是： What is Missing from AI Post-Training AI: An Empirical Analysis
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。
如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。
联系小助手微信：eccstartup（加群/投稿论文）
Summary
大语言模型（LLM）智能体现在可以端到端地对LLM进行后训练，这提升了递归自我改进（RSI）的前景。然而，这一进展是通过聚合基准分数来衡量的，而这些分数无法说明智能体是很好地执行固定计划，还是在失败时战略性地修改计划。我们将这两种能力区分开来：执行层能力，即在既定训练策略内迭代；策略层能力，即随着实验证据积累而修改该策略。分析前沿智能体的1,338条后训练轨迹，我们发现智能体能够可靠地执行后训练，但会锁定一种默认策略，该策略跟随智能体而非任务，并且相邻训练轮次之间的转换中只有2.1%会改变策略。我们随后检验智能体缺少的是经验、推理，还是转换的决策。（1）经验提升执行，但不提升策略。（2）额外推理算力在较容易任务上带来前期收益，但会细化而非修改既定策略。（3）训练前人工审查改变的是智能体锁定哪种策略，而非是否锁定；而单条运行中途指令在相同预算下比智能体自身继续执行高出最多17.44分。总之，智能体缺少的是重新开启既定策略并尝试另一策略的决策。因此，实现RSI需要交互协议和训练信号，使策略修改成为一项显式、受奖励的决策。
原文链接：arxiv.org
