0
0今天的这篇的主题是： AI Research Preference Models
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。
如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。
联系小助手微信：eccstartup（加群/投稿论文）
Summary
AI 研究智能体（AIRA）现在能够全程承接机器学习实验——从提出方案、代码实现到评估验证。然而，前沿任务上的进展往往受制于极其昂贵的评估成本，这些评估动辄消耗数天的 GPU 时间。当一个智能体提出的候选方案数量远超其负担得起（运行）的上限时，研究的突破便取决于其“研究偏好”（Research Preference）：即如何在众多候选方案之间分配有限的执行预算。
为此，我们提出了 AI 研究偏好模型（AI Research Preference Models, RPMs）。该模型无需付出运行所有候选方案的高昂代价，即可预测出哪种方案最具潜力。我们基于冻结的预训练语言模型构建了两种 RPM 变体：一种是仅推理模型（inference-only model），它综合对候选计划、代码以及先前已执行的方案进行推理分析；另一种是智能体模型（agentic model），它在此基础上还会额外运行小规模的试点实验（pilot experiments）。
将这两种变体集成到 AIRA-dojo 研究智能体中并在机器学习研究基准测试 AIRS-Bench 上进行评估后，两者的平均标准化得分分别从 0.684 提升至 0.711 和 0.729。两者均仅消耗了无指导智能体不到三分之二的执行预算，在约 15 小时内就达到了后者 24 小时才达到的性能水平，并共同在两项 AIRS-Bench 任务上刷新了 SOTA（最先进）纪录。
原文链接：arxiv.org
