AI Agent 论文播报|0513 记忆依赖推理全军覆没与工具调用鲁棒性拆解

AI Agent 论文播报|0513 记忆依赖推理全军覆没与工具调用鲁棒性拆解

11分钟 ·
播放数0
·
评论数0

今天三篇重点论文共同指向一个判断:Agent 栈最脆的地方不在模型推理本身,而在信息如何在 Agent、工具、记忆之间流动。记忆系统的依赖推理平均准确率只有 3%,工具调用被误导命名骗走 40% 准确率——这些「接缝处的结构性失败」才是当前最值得关注的方向。

本期重点

  • MEME:多实体演化记忆评测(MEME: Multi-entity & Evolving Memory Evaluation)——六大主流记忆系统在「上游事实变了,下游依赖事实怎么办」这种题上几乎全军覆没(Cascade 平均 3%、Absence 平均 1%)。唯一有效的方案是把推理前置到写入时刻,但成本是基线的约 70 倍。
  • LongMemEval-V2:面向资深同事的长期 Agent 记忆评测(LongMemEval-V2: Evaluating Long-Term Agent Memory Toward Experienced Colleagues)——把记忆评测推到 500 条轨迹 / 1.15 亿 token 规模,提出「把记忆当文件、用 Coding Agent 当控制器」的新范式,与 MEME 独立工作不谋而合地指向同一结论:瓶颈在写入时是否保留可推理的上下文。
  • 当模拟撒谎:工具调用 Agent 的 Sim-to-Real 基准与域随机化 RL 配方(When Simulation Lies: A Sim-to-Real Benchmark and Domain-Randomized RL Recipe for Tool-Use Agents)——首次用 POMDP 四象限系统拆解 22 种工具调用扰动,发现误导性命名和首次调用报错才是真正痛点,堆参数无效;域随机化 RL 训练让 3B 模型追平开源 14B 水平。

今日趋势

  • Agent 研究正从「单体能力测试」走向「系统级压力测试」:安全打到生态/供应链层,记忆打到依赖推理层,工具调用打到运行时鲁棒性层。
  • 三篇论文方法论高度同构:先把真实部署失败模式形式化,再据此构造可验证扰动,最后一致发现更大模型、更强检索都救不回结构性失败,必须改训练或改写入策略。

📎 完整日报与论文列表:GitHub 归档

欢迎在评论区留言交流你对 Agent 记忆和工具调用鲁棒性的看法。本期内容由 AI 自动生成,如有疏漏欢迎指正。