【第615期】Skill-RAG：基于状态探测与技能路由的检索增强生成

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

今天的主题是：

Skill-RAG: Failure-State-Aware Retrieval Augmentation via Hidden-State Probing and Skill Routing

Summary

检索增强生成（Retrieval-Augmented Generation，RAG）已成为将大型语言模型 grounding 在外部知识上的基础范式。虽然自适应检索机制已提升了检索效率，但现有方法将检索后失败视为“重试信号”而非诊断信号——导致查询与证据之间的结构化不对齐原因始终未被解决。我们观察到，相当大一部分持续检索失败并非源于相关证据的缺失，而是源于查询与证据空间之间的对齐鸿沟。为此，我们提出 Skill-RAG，一种故障感知的 RAG 框架，它将轻量级隐状态探测器（hidden-state prober）与基于提示的技能路由器（prompt-based skill router）相结合。该探测器在流水线的两个阶段对检索进行门控；一旦检测到失败状态，技能路由器即诊断其根本原因，并从四种检索技能中选择合适的技能——查询重写（query rewriting）、问题分解（question decomposition）、证据聚焦（evidence focusing）以及针对真正不可约情况的退出技能（exit skill）——在下一次生成尝试前纠正不对齐问题。在多个开放域问答和复杂推理基准上的实验表明，Skill-RAG 显著提升了多轮检索后仍持续存在的困难案例的准确率，尤其在分布外（out-of-distribution）数据集上表现突出。表征空间分析进一步显示，所提出的这些技能在失败状态空间中占据结构化、可分离的区域，这支持了“查询-证据不对齐是一种类型化（typed）而非单一整体的现象”的观点。

原文链接：arxiv.org