0
0今天的这篇的主题是： Evaluating Skills, Not Just Agents: Agentic Continuous Evaluation of Skills
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。
如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。
联系小助手微信：eccstartup（加群/投稿论文）
Summary
企业级智能体项目正从原型阶段迈向生产环境。在这一过程中，可复用的技能（Skills）、工具和工作流包需要基于实证证据而非文字描述进行评审。当前的准入检查通常会扫描这些产物的结构、风格和安全性，但它们无法回答一个关键的部署问题：在使用相同模型、沙箱和评分策略的条件下，能力包是否真正有助于实际运行的智能体完成企业任务？
我们提出了 ACES（Agentic Continuous Evaluation of Skills，智能体技能持续评估），一个原生集成于代码仓库的框架，用于将技能和产品能力包作为可执行的智能体产物进行评估。ACES 分别在使用和不使用目标技能的条件下运行配对的实时试验，将执行轨迹标准化为智能体轨迹交换格式（Agent Trajectory Interchange Format，ATIF），对六项默认运行时指标进行评分，并报告技能增益（Skill Lift）：即在固定任务、智能体运行框架（Harness）、工作空间和评分器的条件下，目标技能带来的额外价值。同一套评估协议还支持由产品团队维护的任务套件，用于比较基线、单项技能、技能包（Bundle）、团队技能（Team-Skill）和插件（Plugin）等不同评估对象。
我们对来自企业内部代码仓库和公开技能目录的 145 个真实技能进行了评估。结果表明，仅依赖静态扫描的准入检查虽然能够发现有价值的技能编写问题，但不同扫描方式衡量的是相互补充的维度（结构性扫描与 LLM 评判器之间的 Spearman 等级相关系数 ρ = 0.14）。
在来自 64 个生产级技能中的 58 个技能、覆盖四种主要智能体运行框架的 947 个已评分配对案例中，平均综合技能增益（Composite Skill Lift）为 0.2134（95% 配对案例置信区间为 [0.1967, 0.2301]）；仅考虑结果指标的平均增益（即准确率与目标准确率的均值）为 0.1799。在 72.8% 的配对案例中，综合技能增益为正。
最大的过程性指标提升出现在技能执行（Skill Execution）、行为检查（Behavior Check）和技能效率（Skill Efficiency）方面。这些指标反映了技能发现、路由选择、工作流遵循和工具使用等方面的表现，而这些恰恰是文档静态扫描无法观察到的。
该方法的开源实现已在 NVIDIA SkillEvaluator 中提供。
原文链接：arxiv.org
