4
0Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。
如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。
联系小助手微信：seventy3_podcast（加群/投稿论文）
今天的这篇的主题是：
The Verification Horizon: No Silver Bullet for Coding Agent Rewards
Summary
经典的直觉认为，验证一个解法要比生成一个解法更容易。然而对于当下的编程 Agent 而言，这一直觉正在被颠覆：随着基础模型具备更强的推理能力，以及工程框架（harnesses）变得日益精密，生成复杂的候选解法已不再困难——可靠地验证它们反而成了更棘手的问题。
我们所能构建的每一个验证器都只是人类意图的替代品（proxy），而非意图本身。这使得验证面临着双重困境：首先，意图在本质上是不明确的（underspecified），这使得忠实地检查意图是否得到满足变得天然困难；其次，在模型训练期间，优化过程会扩大替代品与意图之间的差距——表现为奖励破解（reward hacking）或信号饱和（signal saturation）。
为了解决这一问题，我们从三个维度刻画了验证信号的质量——可扩展性（scalability）、忠实度（faithfulness）和鲁棒性（robustness），并提出同时实现这三者是当前的核心挑战。我们进一步研究了四种奖励构造：用于通用编程任务的测试验证器（test verifier）、用于前端任务的量规验证器（rubric verifier）、用于真实世界 Agent 任务的“用户即验证器”（user as verifier），以及用于长流程任务的自动化 Agent 验证器（automated agent verifier）。针对不同的任务类型和策略能力水平，我们就奖励设计的核心挑战以及如何更有效地利用奖励信号进行了深入的分析与实验。
实验表明，有针对性的验证设计能够有效抑制奖励破解，提升任务完成质量，并在多个内部及公开基准测试中取得显著收益。这些实践共同指向了一个核心观察：随着策略能力的持续增长，没有任何固定的奖励函数能够保持有效；验证机制必须与生成器协同演化（co-evolve）。
原文链接：arxiv.org
