Jocelyn D’Arcy Agent Engineering演讲：让评测回到真实工作

www.youtube.com 2026-11-02

本期为 Agent Engineering London 大会演讲的忠实中文改编，主讲人是 Poindexter Labs 负责人 Jocelyn D’Arcy。她认为，错误答案、含糊题目与机械评分会让基准成绩偏离真实能力，得分上限不一定意味着模型能力遇到上限。

报税的难点往往在找齐三家雇主的资料、找回登录密码，而非拿齐文件后填表；姓名中的撇号也会让酒店、航空与医疗系统出错。这些具体障碍说明，干净、完整的测试输入遗漏了日常工作中最费力的部分。

她以英国 Ofqual 的考试监管机制为类比，主张先验证评测本身的有效性，再讨论模型监管；同时提出采集不同国家、语言和职业用户一周的真实提示词，由专家建立评分标准与强化学习环境。节目中的统计、研究评价及模型表现均保留为演讲时的嘉宾陈述。