【第648期】SkillOpt:大语言模型智能体技能的系统化文本优化器Seventy3

【第648期】SkillOpt:大语言模型智能体技能的系统化文本优化器

17分钟 ·
播放数6
·
评论数0

Seventy3:借助NotebookLM的能力进行论文解读,专注人工智能、大模型、机器人算法、crypto方向,让大家跟着AI一起进步。

如果你想要解读自己的论文,获得更多曝光度。请联系小助手微信:seventy3_podcast 加群。
合作邮箱:zhiwudazhanjiangshi#gmail.com

今天的主题是:

SkillOpt: Executive Strategy for Self-Evolving Agent Skills

Summary

今天的智能体技能(skills)要么是手工打造的、要么是一阶段(one-shot)生成的,或者是通过控制松散的自我修正演化而来的,这些方式的表现都不像针对技能的深度学习优化器,且在反馈下都无法可靠地超越其初始起点。我们认为,技能反而应该作为冻结状态下智能体的外部状态(external state)来进行训练,并应当具备与让权重空间优化(weight-space optimization)可复现相同的严谨度。

据我们所知,SkillOpt 是首个针对智能体技能的系统化、可控的文本空间优化器(text-space optimizer):一个独立的优化器模型将带有评分的测试流(scored rollouts)转化为对单个技能文档进行有限制的“添加/删除/替换”编辑,并且只有当某次编辑能严格提升留出验证集(held-out validation score)的分数时,该编辑才会被接受。文本学习率预算(textual learning-rate budget)、被拒绝编辑缓冲区(rejected-edit buffer)以及基于轮次(epoch-wise)的慢速/元更新(slow/meta update),使得技能训练保持稳定,同时在部署时增加了零推理时间模型调用(zero inference-time model calls)。

在涵盖 6 个基准测试、7 个目标模型和 3 个执行装备(直接对话、Codex、Claude Code)的测试中,SkillOpt 在所有 52 个被评估的(模型、基准测试、装备)组合单元格中均位列第一或并列第一,并击败了包括人类编写、一阶段 LLM 生成、Trace2Skill、TextGrad、GEPA 和 EvoSkill 技能在内的所有同单元格竞争对手。在 GPT-5.5 上,它在直接对话中将无技能基础准确率提升了 +23.5 个百分点,在 Codex 智能体循环中提升了 +24.8 个百分点,在 Claude Code 中提升了 +19.1 个百分点。迁移实验进一步表明,经过优化的技能产物在跨模型规模迁移、在 Codex 与 Claude Code 执行环境之间迁移,以及在无需进一步优化的情况下迁移到相近的数学基准测试时,依然能保持其价值。

原文链接:arxiv.org