大语言模型能预测情绪，并不代表它理解了情绪是如何产生的。CAREBench基于评价理论，把评测拆成“情境理解—评价推理—情绪反应”三个环节，并结合第一人称与第三人称标注，分析模型究竟在哪一步出错。对六个模型的实验发现，强模型在最终情绪预测上可接近甚至超过人工基线，但在评价推理、正面情绪识别和主观差异建模上仍有明显缺口。这提醒我们：评测情绪理解，不能只看最终标签，还要检查中间认知过程。 原文：https://arxiv.org/pdf/2605.17176

语音克隆几秒就能复刻人声，但噪音、文本干扰、压缩处理常让它翻车。现有评测多聚焦干净数据，难察真实痛点。RVCBench由此出发，围绕输入、生成、输出、扰动四个维度设计十项任务，覆盖225位说话人的14370条语音，并测试11个主流模型，系统揭示了跨语言、长音频及各类扰动下的性能滑坡，为构建更可靠的克隆技术提供了标准化开源平台。 原文：https://arxiv.org/pdf/2602.00443

大语言模型能力强大，却暗藏偏见与安全风险。传统评估方法依赖污染、通用的问题，难以区分模型间细微价值差异。AdAEM作为一种自我扩展的动态评估算法，通过信息论目标主动挑选最有争议性的话题，不断生成并精炼问题，解耦问题本身的价值倾向，从而精准揭示不同文化、不同时代模型的价值边界。它既能持续追踪模型价值变化，也为AI对齐研究提供了更坚实的基础。 原文：https://arxiv.org/pdf/2505.13531

如何让自动评估真正贴合人类判断，是模型生成高价值文本场景的痛点。LLM-RUBRIC应运而生：它用人工制定的评估准则，让模型在多个维度分别作答并输出概率分布，再通过一个兼顾个性化与全局参数的前馈神经网络进行聚合校准。实验中，完整方法比未校准的大模型与人类判断的相关性提升了两倍以上。 原文：https://aclanthology.org/2024.acl-long.745v2.pdf

大模型在真实应用中常需同时处理用户指令、参数化知识和动态环境信息，可这三者一旦“打架”，模型能否识别并安全化解？现有评测多聚焦静态文本矛盾，忽略了动态交互中的执行风险。为此，研究者推出了KC-Bench——一个动态交互式评测基准，将知识冲突细分为世界知识冲突、输入不一致和多源冲突，覆盖智能体数据库、零售与个人助理三大场景，并注入隐私泄露等隐患。 原文：https://arxiv.org/pdf/2609.03588

如今的AI在科学推理上常被传统测试“放水”——题海太熟、记忆刷分，真假推理难辨。为此，研究者打造了ScienceArena，一个基于十三项物理、化学、生物国际奥赛真题的新基准。它把官方PDF、图表、评分细则全部数字化，由奥赛奖牌得主双重审核，再匹配专家校准的AI评分系统，既能量出过程分，又逼近真实竞赛标准。结果显示顶尖模型已能摸到奖牌线，但化学结构与长流程推理仍是硬伤。想知道大模型的理科“含金量”？ 原文：https://arxiv.org/pdf/2608.30517

现在的视觉奖励模型大多只会给一个笼统分数或套用固定规则，难以适应多样指令，解释性也差。RubricRM 提出一种新范式：先依据输入动态生成专属评分标准，明确评价维度、权重和打分规则，再据此精确评估图像生成与编辑结果。它采用监督微调和维度级 GRPO 两阶段训练，即使骨干网络较小，也能在多个基准上超越许多专用奖励模型，甚至与闭源多模态大模型打分器一较高下，让图像评价变得更加细致、透明。 原文：https://arxiv.org/abs/2608.26956

想象一下，你雇了一个AI助手，它能自己思考、规划、行动，但你敢放心让它干活吗？这篇研究就像给智能体做了一次全面体检，从任务完成、输出质量到工具使用、安全对齐，拆解了评估的各个维度。更难得的是，它没有只停留在实验室，还特别关注企业落地时的真实难题：角色权限、合规审计、动态交互……读完之后你会明白，评估一个智能体，远不止看它答对几道题那么简单。 原文：https://arxiv.org/abs/2507.21504

过去，智能体评估越来越依赖 LLM-as-a-judge：它能理解复杂、开放的智能体行为，但速度、成本和结果稳定性始终是规模化应用的难题。Jev 的出现提供了另一种选择——这个 System One 模型不生成自由文本，而是直接输出带类型和概率的结构化判断，速度最高提升 200 倍、成本最多降低 450 倍，还能在一次请求中并行检查多个标准。把 Jev 用作裁判后，评估不仅更快、更便宜，在准确率和一致性上也表现出优势。LangSmith 将 Jev-as-a-judge 接入 Evals，正是在尝试把这种新型裁判用于真实的智能体评估流程。本期节目会介绍 Jev 的核心特点、实测效果，以及如何在 LangSmith 中使用它。 原文：https://www.langchain.com/blog/jev-is-now-available-in-langsmith-evals

大模型能力飙升，传统基准测试频频被攻克，AI的真正水平反而越来越难看清了。TRACE框架应运而生，让智能体从解题者变身出题人，在真实环境中自主探索、挖掘瓶颈、生成更复杂的任务，并完整记录每一步轨迹。它用多智能体协作和三层验证，把静态题库改造成能自我进化的动态系统。在GAIA和AIME 2024上的实验证明，TRACE能持续提升任务难度和多样性，让评估不再轻易被刷分，为智能体研究提供了更坚实的试炼场。 原文：https://openreview.net/pdf?id=2H03gm4Rq6

随着视频生成模型飞速发展，画面越来越逼真，但这些“世界模拟器”能记住一分钟前发生的事吗？MBench正是这样一把尺子——它从实体、环境、因果三大维度，拆解出12个可量化的子维度，用真实长视频和规则+大模型混合判分，对主流模型进行“记忆体检”。结果显示，连最先进的模型也会在长时间生成中出现“失忆”和状态漂移。这篇论文为提升视频世界模型的长期一致性指明了方向。 原文：https://arxiv.org/pdf/2606.00793

大型语言模型在单轮指令下表现出色，可一旦面对需求模糊的多轮对话，性能竟平均下滑近四成。这篇论文通过超过20万次仿真对话，揭示了模型在信息不完备时急于下结论、一旦跑偏就难以回头的“迷失”现象。研究将完整指令拆分为碎片逐轮披露，模拟真实沟通场景，发现可靠性崩塌远大于能力不足，为评测与优化敲响警钟。 原文：https://arxiv.org/abs/2505.06120

写代码的AI越来越多，可真到实际开发中，用户常说不清需求，AI却只顾埋头干。这篇论文推出的Dialogue-SWEBench基准，专门考验编程助手在多轮对话里的协作能力。它用角色模拟器生成真实对话，自动评估交互质量，还提出一套Schema引导方法，让现有代理的对话表现提升3%到14%。更有趣的发现是：代码写得好，不等于聊得好——这提醒我们，AI编程的下一个突破口，可能藏在每一次提问里。 原文：https://arxiv.org/pdf/2606.13995

大模型当裁判靠谱吗？在智能体场景里，它要面对上万字的报告、几万步的编码轨迹，还得逐条核对评分标准——这可比给人打分难多了。RuVerBench基准应运而生，用2458个人工标注实例，把裁判的“细心程度”拆成格式、事实、工具使用等维度，结果发现顶级模型也会“看走眼”。想知道谁最稳、哪里有坑？这篇研究给你答案。 原文：https://arxiv.org/pdf/2606.29920

多模态大模型正从看图说话迈向复杂视觉推理，但视觉结果验证成了新瓶颈。研究人员构建了ViVerBench基准，涵盖六大类十六个子任务，发现现有模型在精细对齐、世界知识匹配和推理批评上短板明显。为此，团队训练出通用验证器OmniVerifier-7B，通过自动化数据生成与强化学习，在基准上提升8.3个百分点，甚至超越GPT-4o，还能以序列式测试时缩放不断迭代优化生成，让模型更可靠、更可控。 原文：https://arxiv.org/pdf/2510.13804