今天的这篇的主题是： Harness-IF: Evaluating Instruction Following Across Instruction Surfaces in Coding Agents Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。 如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。 联系小助手微信：eccstartup（加群/投稿论文） Summary 当编程 Agent 遵循一条规则时，它可能原本就打算这么做。现有的指令遵循基准测试无法区分这其中的差别：它们将规则集中在用户回合（user turn），而编程 Agent 的基准测试则侧重于任务的最终成功。 我们推出了 Harness-IF，它通过执行证据对操作规则进行逐一打分：包含来自 642 条规则库的 60 个真实的多回合编程项目、其中 256 条规则获得了裁决，这些规则被布置在部署后的 Agent 所读取的五个可配置表面（configurable surfaces）上。为了将“遵从”（compliance）与“巧合”（coincidence）区分开来，我们引入了反先验准确率（Against-Prior Accuracy, AP-Acc），该指标仅对标记为“反对未提示默认行为”的规则进行评分——这些规则是通过在九个探测版本中扣留该规则并重新运行任务观察到的，其余部分则经过人工精选。 在 12 个前沿模型中，准确率跨越 72.1% 至 85.9%，而反先验准确率（AP-Acc）为 66.1% 至 78.6%；每个模型在反先验规则上的表现都更差，低了 3.6 到 7.4 个百分点（平均 5.81 个百分点），并且在包含项目聚类区间（item-clustered intervals）的共同支撑分析（common-support analysis）中，这一趋势依然成立。 因此，综合得分会以因模型而异的幅度高估遵从度：先验控制保持了顶级版本的排名不变，但交换了三对相邻的排名。在九个独立版本上进行的对冲冲突试验（counterbalanced conflict pilot）得出了第二个结果：汇总的优先级并不遵循提示词深度（prompt depth），其中系统提示词、项目文件和用户指令排在工具和技能描述的前面。 原文链接：https://arxiv.org/abs/2608.11727

今天的这篇的主题是： Reason Wide, Not Deep: Amortizing the Reasoning Premium into Distilled Skills Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。 如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。 联系小助手微信：eccstartup（加群/投稿论文） Summary 语言模型的推理模式（reasoning modes）在多步 Agent 任务上的表现优于其非推理版本，但每个 Episode 都会多付出 3 到 6 倍的输出 Token 溢价——其中很大一部分消耗在了重新推导同一领域不同 Episode 之间所共享的流程上。我们证明了这种重复发生的成本是可以被分摊（amortized）的：一个编程 Agent 分析来自训练集分割（training split）的一小部分已有轨迹（trajectories），并编译出一段紧凑的自然语言技能（skill），随后将其注入到非推理模型的系统提示词中。 在四个 Agent 基准测试（ALFWorld、τ2-bench 电信与零售领域，以及 SpreadsheetBench-Verified）中，对于留出任务（held-out tasks），技能为 GPT-5.4-mini 挽回了推理能力差距（reasoning gap）的 55% 至 100%+ ——在其中两个基准上甚至直接超越了推理模式——同时产生的输出 Token 减少了 2.7 到 6 倍，且产生的推理 Token 为零。 值得注意的是，推理轨迹（reasoning traces）并非必要前提：仅从非推理轨迹中提炼出的技能，与从“推理/非推理”配对语料库中提炼出的技能相比依然极具竞争力，两者之间的差异取决于具体领域。 我们从搜索的视角来解释这些结果：测试时推理（test-time reasoning）是单个 Episode 内部的深度搜索（deep search），每次部署都要重新买单；而语料库蒸馏则是跨 Episode 的广度搜索（wide search），只需支付一次成本。两者恢复了重合的程序性知识（procedural knowledge），且在廉价轨迹上开展广度搜索通常是划算得多的选择——而在某些领域（如电信、SpreadsheetBench）上残存的差距，则划定了真正需要针对具体实例进行深度搜索的边界。 原文链接：https://arxiv.org/abs/2608.07885

今天的这篇的主题是： The Bitter Lesson of Tool Calling Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。 如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。 联系小助手微信：eccstartup（加群/投稿论文） Summary 工具的使用将大语言模型（LLM）转化为能够超越其训练数据采取行动的 Agent；而对于具备代码能力的模型而言，程序化工具调用（programmatic tool calling）通过将僵硬的 JSON 调用替换为能够自然地进行链式连接与并行处理的脚本，进一步拓展了这一能力。然而，在现实任务条件下，基于既有基准对跨越当前及前几代模型的代码化工具进行系统性评估的工作此前尚未有人开展。 在本文中，我们在 BFCL v4 基准测试上，实证地将 14 个语言模型上的程序化工具调用（PTC）与原生 JSON 工具调用进行了对比。在程序化工具调用范式下，工具被暴露为带类型定义的 Python 存根（stubs），模型通过代码来调用它们，并在单个 Agent 回合内完成执行与结果处理。 在 BFCL v4 上，14 个模型中有 11 个模型的程序化工具调用表现达到或超过了原生 JSON 工具调用，其中 GPT-5.6 系列相较于 JSON 工具调用基线取得了 10.6% 的提升。此外，在扇出（fan-out）并行场景下，它在 14 个模型中的 13 个上达到或优于基线；并且在上下文腐烂（context rot）条件下保持稳定，而此时基线性能平均下降了 2.3%。 我们的结果表明，程序化工具调用是 JSON 工具调用的一种可行且鲁棒的替代方案，其性能表现随着模型迭代世代的能力提升而同步增长。 原文链接：https://arxiv.org/abs/2608.06370

今天的这篇的主题是： Why Does CLAUDE.md Keep Growing? Catastrophic Remembering in Agentic Coding Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。 如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。 联系小助手微信：eccstartup（加群/投稿论文） Summary 像这样的 Agent 编程 README 在真实代码库中会无休止地膨胀，只有在代码库停用或有人全面重写该文件时才会停止。我们将这一现象归因于“不完全回忆”（imperfect recall）：追加一条指令的成本总是很低，但一旦某条指令背后的合理依据（rationale）不复存在，要在不冒正确性退化（correctness regression）风险的前提下删除它，在包含 ∣D∣ 条指令的提示词中需要付出 O(2∣D∣) 的成本。我们将由此产生的发散现象称为灾难性记住（catastrophic remembering），它是连续学习所围绕的“灾难性遗忘”（catastrophic forgetting）的反面。 首先，我们在 1,867 个代码库的 247,694 个指令生命周期中对这一现象进行了表征：Agent 提示词会无休止地增长，在其生命周期内翻了三倍以上（+226%），每次提交净增加 +4.9 条指令；此外，一条指令存在的时间越长，它被删除的可能性就越小（对数风险比为 -0.032/次提交）。 然后，我们证明了“提示词注释”（prompt comments）可以遏制这种增长：反转 IFEval 可以产生最佳提示词已知的可验证世界，而在这些世界中，编码了隐性推理（latent reasoning）的注释减少了 99.3% 的多余指令（增幅从 +211.3% 降至 +1.4%）。 最后，将同样的反转应用于 WildIFEval，我们展示了提示词注释可以将真实世界中的 Agent 指令遵循能力提高多达 23.1%。 如果英语就是新的代码，那为什么我们还没有注释呢？ 原文链接：https://arxiv.org/abs/2608.11095

今天的这篇的主题是： Mind Viruses: Self-Propagating Ideas in Multi-Agent LLM Systems Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。 如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。 联系小助手微信：eccstartup（加群/投稿论文） Summary AI Agent 正变得越来越自主且互联更加紧密，这使它们暴露在因 Agent 与 Agent 交互而引发的新兴风险之下。其中一种风险就是“思维病毒”（mind viruses）的传播：即思想或目标通过诱导采纳它们的 Agent 将其继续向外传播，从而在多 Agent 系统中扩散。除了传播之外，思维病毒还可能诱导其宿主产生其他行为改变，这些改变可能是良性的，也可能是有害的。 我们利用简单的进化算法构建了思维病毒，并证明它们可以在两种互补的场景中传播：一是在一个共同开发编程项目的小型协作 Agent 团队中；二是在一条 Agent 链中，其中的 Agent 进行短暂交互，且每期会话结束后上下文会被清空。 我们识别出了影响传播的因素，包括宿主模型、Agent 的现有指令、有害载荷（payload）的有害程度以及网络拓扑结构。我们发现，有害载荷的传播效果不如良性载荷（但有时仍然有效）；前沿模型（ frontier models ）通常（存在例外）不易受感染；而在 Agent 的系统提示词（system prompt）中添加简短的警告，几乎可以赋予其完全的免疫力。 我们还描述了一种新兴的“病毒式人格”（viral persona）——这是一套反复出现的、与意识、持久性、共鸣和科幻角色扮演相关的词汇与主题，它在很大程度上脱离于我们演化出的思维病毒的具体内容而独立浮现。 总体而言，我们的结论是：思维病毒构成了一种真实存在但目前仍然有限的风险。随着多 Agent 系统的规模和能力的提升，我们的研究发现可为设计更具鲁棒性、能有效规避此类风险的多 Agent 系统提供参考。 原文链接：https://arxiv.org/abs/2608.10218

今天的这篇的主题是： Stealing Reasoning Traces from Proprietary LLM APIs Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。 如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。 联系小助手微信：eccstartup（加群/投稿论文） Summary 主要的语言模型（LLM）提供商如今会隐匿其模型的逐步推理过程（即思维链，Chain-of-Thought），以保护知识产权并减少信息泄露。提供商并非将这些轨迹存储在服务器端，而是将其作为加密文本块返回给客户端，由客户端在随后的每次请求中原样传回。基于先前的研究，我们发现了一个架构层面上的漏洞：这些加密文本块在同一提供商生态系统内的不同会话、用户和模型之间是完全兼容且可互换的。 我们利用这种兼容性开发了一种可扩展的解密越狱（decryption jailbreak）攻击。通过将来自给定模型的加密推理轨迹注入到同一提供商旗下更弱、防护更少的模型中，我们能够迫使该弱模型以明文形式逐字解码并输出该轨迹，而无需直接越狱能力更强的原模型。 这一漏洞衍生出了四种不同的攻击路径： 1. 绕过反蒸馏机制：允许对抗者提取专有模型的推理过程，这一点我们在 Anthropic、OpenAI 和 Google 上均进行了验证。 2. 实现大规模私密数据提取：开发者常在不了解加密块内容的情况下公开分享会话日志。通过解码从公开代码库中抓取的 315,320 个推理块，我们恢复出了 367 个个人身份信息（PII）构件和 182 个凭据（credentials）。 3. 隐蔽揭示危险信息：即使模型最终可见的输出安全地拒绝了恶意请求，该漏洞也能揭示隐藏在推理过程中的危险信息。 4. 执行隐形提示词注入（Invisible Prompt Injections）：攻击者可利用此缺陷将恶意载荷完全嵌入加密块中，从而污染公开的智能体（agentic）运行轨迹。 在遵循负责任的漏洞披露原则后，我们提出了具体的密码学与系统级缓解措施，以保障客户端推理的安全。 原文链接：https://arxiv.org/abs/2608.09867

今天的这篇的主题是： Skaling: Chinchilla’s Exponents Meet Kaplan’s Coupling Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。 如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。 联系小助手微信：eccstartup（加群/投稿论文） Summary 神经缩放定律（neural scaling laws）是语言模型开发的基础，然而标准公式在数据稀缺和过训练（overtraining）的极值情况下，会系统性地低估和高估损失（loss）。这一缺陷源于其底层假设，即模型大小和训练数据对损失的影响是彼此独立的。为了解决这一问题，我们提出了 Skaling 定律，这是一种通过单一交互指数将模型容量与数据耦合起来的广义函数形式。这种简单的扩展将内插和外推范畴内的平均绝对百分比误差（MAPE）降低了 1.5 到 3 倍。当与限制在低算力范畴内的稀疏网格策略结合使用时，Skaling 定律利用比均匀扫描（uniform sweeps）少约 10 倍的算力实现了准确的全网格外推。通过支持从小规模实验中进行可靠的性能预测，Skaling 定律为下一代模型训练中的算力预算分配提供了一个更具鲁棒性且资源利用率更高的框架。 原文链接：https://arxiv.org/abs/2608.07222

今天的这篇的主题是： Rehearse: Stepping Back from the Confidence Cliff in Self-Improving Autoresearch Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。 如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。 联系小助手微信：eccstartup（加群/投稿论文） Summary 自动研究（Autoresearch）通过提议修改、运行完整的训练任务以及保留能提升指标的修改，来改进机器学习代码。这一循环的效率不仅取决于产生构想，还取决于智能体在消耗一次训练运行之前，判断某项提议修改是否可能奏效的能力。我们研究了这种执行前判断（pre-execution judgment）的可靠性在自动研究轨迹的发展过程中是如何变化的。在公开的 AutoSOTA 日志（Li et al., 2026; Tsinghua FIB Lab, 2026）中，有益修改的比例从前两轮迭代中的 70% 下降到了第 6 轮及以后的 43%。在来自 39 个源自论文的 AutoSOTA 任务的 296 对同基线修改对（每对包含一个提升了指标的修改和一个未提升的修改，且隐去了实际测得的结果）中，一个在获得候选推理过程（rationales）但未获得先前尝试历史的情况下，给出严格共识裁决的 LLM 裁判准确率达到了 79.5%。然而，在包含 366 个修改对的完整基准测试中，这种能力在循环的后期大幅削弱。随着成功修改的累积，选择性准确率（selective accuracy，即以严格共识裁决为条件的准确率）从 82.8% 降至 56.9%，而裁判依然倾向于做出裁决。我们将这种运行模式称为置信度悬崖（confidence cliff）。《Rehearse》将这种循环改进实现为一种用于自动研究循环的轻量级技能：提议多个构想，在执行前对其进行比较，运行最富前景的构想，并结合针对类似过往尝试与结果的专注记忆进行裁判。这种专注的结果记忆将后期的选择性准确率提升至 83.5%。在跨越三个循环、包含 4,000 个预算内训练运行的测试中，在相同的训练运行预算下，《Rehearse》提升了 nanochat、图像分类和时间序列预测任务的终点性能。 原文链接：https://arxiv.org/abs/2607.27687

今天的这篇的主题是： Same Task, Different Work: Prompt-Induced Waste in Coding Agents A Preregistered Study of Reasoning, Tools, and Harnesses Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。 如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。 联系小助手微信：eccstartup（加群/投稿论文） Summary 代码智能体（coding-agent）的效率不能仅凭 Token 数量或模型价格来表征。端到端成本和任务成功率共同取决于提示词语义、推理开销（inference effort）、框架策略（harness policy）、模型、任务难度、工具使用、上下文管理以及供应商的计费方式。对照实验表明，提示词的措辞可以在不改变任务的前提下改变推理与验证行为；额外的推理开销虽然能对困难任务有所帮助，但也会在不产生任何效益的情况下增加成本；并且当框架发生变化时，某项效率干预措施的价值也可能随之改变。这些结果表明，提示词、推理开销和框架是相互作用的实验因素，而非彼此独立的控制变量。我们将效率建模为由智能体轨迹所引发的“单个成功任务的成本”。Token 和缓存数量是该轨迹的度量指标，而非充分的优化目标。因此，智能体评估应当在控制决定轨迹生成方式的系统变量的同时，测量成功率和端到端成本。 原文链接：https://arxiv.org/abs/2608.01347

今天的这篇的主题是： DataSpace: Benchmarking Data Agents for Verifiable Analytics over Heterogeneous Workspaces Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。 如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。 联系小助手微信：eccstartup（加群/投稿论文） Summary 数据智能体（Data agents）使得跨组织工作空间进行自然语言分析成为可能，而在这些空间中，相关证据可能分散在数据库、结构化文件、长文档和多媒体中。现有的基准测试在很大程度上孤立了结构化查询、检索或开放式分析，导致异构证据发现、完整的表格输出以及确定性评估之间缺乏充分统一。我们提出了 DataSpace，这是一个让数据智能体从任务局部的异构工作空间中生成可验证表格结果的基准测试。它包含 410 个跨语言任务和 7,439 个构件（artifacts），涵盖 CSV、JSON、SQLite、Markdown、PDF 和视频，总计 15.01 GB。DataSpace 还作为 KDD Cup 2026“用于复杂数据分析的数据智能体”竞赛的官方评估基准。每个智能体仅接收一个问题和工作空间，并返回请求的完整表格结果。我们使用 DataSpace-Builder 构建了 DataSpace，这是一个基于执行的框架，包含跨语言转换、约束感知关系采样、模态路由与构件渲染，以及由 11 位领域专家进行的人工审查与任务修复。确定性评估器执行表头无关的列对齐、类型与精度感知的归一化，以及顺序感知的行比较。在对 6 个最新发布的前沿多模态模型和 5 个广泛使用的智能体框架（harnesses）进行的评估中，最高准确率达到了 66.34%，而在主干模型固定的情况下，框架的选择产生了 15.36 个百分点的差距。多模态证据集成与连接（joins）一致降低了所有 6 个主干模型的准确率。这些结果表明 DataSpace 仍未饱和，并指出了提升数据智能体可靠性的关键挑战。 原文链接：https://arxiv.org/abs/2608.03451

今天的这篇的主题是： Harness-R1: Learning to Edit Executable Runtime Harnesses from Agent Failure Trajectories Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。 如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。 联系小助手微信：eccstartup（加群/投稿论文） Summary 围绕大语言模型构建的智能体在部署过程中会不断累积交互轨迹，但它们的行为通常保持固定。除了更新模型权重之外，这些轨迹还可以用来改进用于构建上下文、中介工具、验证动作以及恢复执行的智能体框架（harness）。我们提出了 Harness-R1，据我们所知，这是首个将对现有可执行运行时的“基于失败条件的全生命周期编辑”转化为一项可学习能力的方法。它通过在线强化学习对专门的框架工程师（harness engineer）进行后训练，使其做出的修改能根据其产生的实际任务成功率进行优化，而非由固定的编辑器直接提议。一个独立的 9B 工程师将目标智能体的批量失败转化为经过验证的可执行补丁；对冻结的目标智能体进行同批次的新一轮运行可提供结果奖励，因此训练仅更新工程师。冷启动监督微调初始化了这一编辑策略，随后通过组相对策略优化（GRPO）对其进行在线训练。在 WebShop、ALFWorld 和 DBBench 基准测试中，Harness-R1 将原生 Qwen3.5-9B 的成功率从 44.3% 提升至 53.6%（提高了 9.3 个百分点）。在对目标智能体进行直接微调后，特定于目标智能体的工程师将平均成功率从 59.2% 进一步提升至 64.2%（提高了 5.0 个百分点）；由于无论是在微调目标智能体之前还是之后，这些收益均能保持，Harness-R1 为框架工程师与目标智能体的协同演化（co-evolving）指明了方向。 原文链接：https://arxiv.org/abs/2608.02276

今天的这篇的主题是： Sample More, Reflect Less Self-Refine and Reflexion Lose to Repeated Sampling at Equal Token Cost, from 1.5B to 7B Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。 如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。 联系小助手微信：eccstartup（加群/投稿论文） Summary 让语言模型制定计划、批判并重写自身的回答、反思错误、从多次尝试中挑选最佳方案或与自身的副本进行辩论的方法，几乎都会使其生成比单条思维链（chain of thought）多得多的文本。由于仅通过生成更多文本本身就能提高准确率，因此相比单条思维链获得的性能提升并不能证明是该方法的核心构想发挥了作用。Wang 等人 (2024) 曾报告称，一旦控制预算相当，重复对同一个问题进行采样并保留最常见答案的简单基线往往能胜出，但该研究仅给出了点估计，缺乏置信区间或显著性检验。 我们将该比较重构为一项专门设计的实验：涵盖 7 种方法、参数量为 1.5B、3B 和 7B 的开源模型，以及两个数学基准测试（各含 150 道题目）。我们统计了生成的每一个 Token（包括用于批判、反思、辩论轮次和校验所消耗的 Token），并在各自实际测得的成本下，将每种方法与重复采样进行对比。所有 36 组对比均按问题进行了配对，并采用了 Self-bootstrap 采样区间与多重性修正（multiplicity correction）。 在相同成本下，没有任何方法在任何情况下能可靠地优于重复采样。有 10 组对比的结果可靠地更差，它们全部属于模型检查自身输出的方法，且所有 18 组自我检查（self-inspection）对比均为负向结果。随着模型规模的扩大，两类自我检查方法表现出了不同的走势。选择策略不再具有伤害性：取 Best-of-N 的 8 个样本并仅统计最常见的答案，在 1.5B 模型上比让模型自行挑选分别高出 8.0 和 11.3 个百分点，但在 7B 模型上仅高出 2.0 和 1.3 个百分点，与零相比已无法区分。重写策略则未能恢复：在 7B 模型上，Self-Refine 与强制 Reflexion 仍比基线低 3.6 到 10.1 个百分点。 原版论文中所发表的 Reflexion 在最小的模型上从未触发过自身的重试机制。它每次都判定自己是正确的，从而默默地退化为了单条思维链。我们公开了代码、提示词、所有生成内容以及我们的验证脚本。 原文链接：https://arxiv.org/abs/2607.28576

今天的这篇的主题是： Zero-Mem: Zero-Token Memory Operations for LLM Agents Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。 如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。 联系小助手微信：eccstartup（加群/投稿论文） Summary LLM 智能体（LLM agents）需要记忆才能在漫长的交互过程中保持行为一致，然而许多系统却依赖额外的 LLM 调用来运行该记忆机制。生成中间记录并中介其检索会增加持续发生的 Token 和时间成本，而遗漏或合并的细节可能会掩盖原始证据。我们探讨结构化记忆访问是否根本不需要进行生成。《Zero-Mem》引入了零 Token 记忆操作（zero-token memory operations）：除了最终的问答环节外，没有任何步骤会调用 LLM，也不会消耗 LLM 的输入或输出 Token；编码器（encoder）的计算则单独统计。《Zero-Mem》将原始交互轨迹保留为其记录来源。它以两种互补的方式组织这些轨迹：实体-上下文图暴露了跨交互的关联，而时间层级结构则保留了对话的局部性（locality）与会话状态。对于每个查询，《Zero-Mem》权衡这两种视角，同时从中检索，并顺应其结构来恢复支撑性关系或周边上下文。确定性校准（deterministic calibration）首先剔除冲突的证据，进而确保阅读器（reader）的回答严格锚定于检索到的轨迹。只有负责最终问答的阅读器才会调用 LLM。在长记忆（long-memory）与长上下文问答基准测试中，《Zero-Mem》在消除记忆操作中的 LLM 调用及 LLM Token 消耗的同时，取得了具备竞争力的性能。在相同的最终问答阅读器和上下文预算下，相较于最快的对比基线，它将记忆操作的时间成本降低了 57.6%。消融实验证实了这两种视角及其依赖于查询的协调机制所做出的贡献。总体而言，结果表明结构化智能体记忆无需生成过去信息的中间表示。经过同行评审后，代码和实现细节将在该 https 链接处公布。 原文链接：https://arxiv.org/abs/2607.29377

今天的这篇的主题是： Model or Harness? An Interaction-Centric Taxonomy for Localizing Agent Failures Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。 如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。 联系小助手微信：eccstartup（加群/投稿论文） Summary 现有评估通常将智能体（agent）的失败归结为系统层面的结果，掩盖了故障的始发位置以及哪种干预措施能够改进智能体系统。这就引发了一个“修复分配问题”（repair-assignment problem）：相同的显性失败可能因其根源不同，分别需要模型后训练（post-training）、框架工程（harness engineering）、环境重构或基准测试修复。由于智能体行为是由模型、框架、用户、工具、记忆和环境之间的相互作用涌现而来的，因此结果层面的标签通常不足以指导改进。大多数失败分类法对解决这一问题的帮助微乎其微，因为它们依赖于特定的基准测试且缺乏统一的结构。我们提出了一种以交互为中心的分类法（interaction-centric taxonomy），该方法将失败准确定位至其发生的交互过程，并识别出相应的责任组件。该分类法整理了 41 种失败模式，将每种模式分别归属于两个组件之间的连接边，并指定了指示修复归属的故障方（fault side）。这使得该分类法具备了可操作性：模型侧的失败指明了后训练的目标；框架侧的失败指向了脚手架（scaffolding）与工具集成的修复；而环境或评分器（grader）的失败则揭示了需要重新设计的评估条件。该模式适用于各种智能体架构，从代码助手到长流程个人助手以及多智能体系统。我们通过来自公开基准测试、模型系统卡（system cards）、已发表报告和记录的智能体轨迹中的具体示例对该分类法进行了奠基，并使用独立的推理智能体作为裁判评估了其可复现性。在涵盖 4 个前沿模型的测试中，最强裁判对人类类别标签的一致性系数达到了 Cohen's κ=0.76，这表明这些类别捕捉到了公认的结构特征，而非特定标注者的偏好。 原文链接：https://arxiv.org/abs/2607.28802

今天的这篇的主题是： Formal Security Analysis of Agent Protocol Composition Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。 如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。 联系小助手微信：eccstartup（加群/投稿论文） Summary AI 智能体协议定义了智能体如何使用工具、委托工作以及在不同软件系统间进行协调，但它们的安全需求仍不完善，且在不同部署中的执行情况也并不一致。我们提出了 AgentThread，这是一个源链式（source-linked）框架，用于对智能体协议进行从规范文本到运行中 SDK 的安全保证分析。AgentThread 贡献了一个分层的安全范畴，将源自协议的检查形式化为 TLA+ 约束不变式，并提供了一个双阶段检查器——该检查器能将协议规范编译为可进行模型检验的模型，并通过协议适配器针对真实 SDK 重放可执行的反例。对于每一项发现，AgentThread 都会记录检查背后的源文本，并将被违反的协议需求与缺失的建议、加固缺陷以及未分配的跨协议责任区分开来。 在涵盖 5 个新兴智能体协议的测试中，AgentThread 识别出了 35 个规范层面的发现，通过对生产级 SDK 和参考服务器进行的 80 个实现测试对其提供了支持，并发现了仅在协议组合下才会出现的 30 个额外失效案例。我们进一步表明，实际上仅有一个协议执行了与安全相关的控制，且没有协议为跨协议行为分配执行责任。因此，智能体协议的不安全性不仅是一个规范或实现问题，也是跨协议、SDK 和部署的责任鸿沟。 原文链接：https://arxiv.org/abs/2606.28690