大模型当裁判靠谱吗？在智能体场景里，它要面对上万字的报告、几万步的编码轨迹，还得逐条核对评分标准——这可比给人打分难多了。RuVerBench基准应运而生，用2458个人工标注实例，把裁判的“细心程度”拆成格式、事实、工具使用等维度，结果发现顶级模型也会“看走眼”。想知道谁最稳、哪里有坑？这篇研究给你答案。
原文：arxiv.org
谁来检查 AI 裁判？RuVerBench 揭开智能体评测盲区
12分钟 ·
9·
0
90
00:00
00:00
90大模型当裁判靠谱吗？在智能体场景里，它要面对上万字的报告、几万步的编码轨迹，还得逐条核对评分标准——这可比给人打分难多了。RuVerBench基准应运而生，用2458个人工标注实例，把裁判的“细心程度”拆成格式、事实、工具使用等维度，结果发现顶级模型也会“看走眼”。想知道谁最稳、哪里有坑？这篇研究给你答案。
原文：arxiv.org