PRDBench——基于产品需求文档（PRD）的全栈开发能力大考

现有的代码智能体测试往往依赖昂贵的专家标注且仅盯着呆板的单元测试,。但这篇论文带来的 PRDBench 玩出了新花样：它采用“AI出题、人类监工”的低成本模式，仅需本科生水平即可构建包含50个真实项目的复杂任务库。更妙的是，它引入了“AI判官”进行阅卷，不仅看代码对不对，还能通过模拟命令行交互和文件比对来全方位考核智能体的实战开发能力，真正实现了从“做题”到“搞项目”的跨越。

原文题目：Automatically Benchmarking LLM Code Agents through Agent-driven Annotation and Evaluation

原文链接：arxiv.org

你将听到 ：

• 现有的代码智能体（Code Agent）评测基准在标注成本和评估指标（方面存在哪些核心局限？
• 论文提出的“智能体驱动的数据生产流水线”*具体包含哪些步骤，如何通过“低成本人工监督”来保证数据质量的？
• 基于上述方法构建的 PRDBench ，其核心的产品需求文档（PRD）结构是如何定义任务复杂度的？
• 论文引入的 EvalAgent（Agent-as-a-Judge）如何利用多种工具，实现对单元测试、Shell 交互和文件比对等多维度指标的自动化评估？