Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。 如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。 合作邮箱：zhiwudazhanjiangshi#gmail.com 今天的主题是： Harnesses for Inference-Time Alignment over Execution Trajectories Summary Harness 工程（harness engineering）已成为大型语言模型（LLM）智能体一种重要的推理时（inference-time）技术，其目标是通过任务分解和引导式执行提升智能体的长期表现。然而，更复杂的 harness 并不一定更优：增加任务分解的粒度或执行引导的强度，有时能够改善执行过程，但也可能降低最终任务的成功率。 我们从推理时轨迹对齐（inference-time trajectory alignment）的视角研究 harness 的设计。该视角将 harness 拆解为两种机制：任务分解（task decomposition），负责将任务组织为一系列子目标；以及引导式执行（guided execution），负责在执行过程中重塑局部动作分布（local action distributions）。 这种机制划分使我们能够量化工作流粒度（workflow granularity）、重试预算（retry budgets）以及引导导致的动作重加权（guidance-induced action reweighting）如何共同决定 harness 设计的性能上限。同时，它也揭示了若干具体的失效模式，包括过度分解（over-decomposition）、过度剪枝（over-pruning）以及幻觉式执行（hallucinated execution）。 我们通过受控的合成实验（controlled synthetic experiments）和真实终端智能体基准测试（real terminal agent benchmarks）验证了上述理论预测。 受该理论启发，我们进一步发现，一个高效的 harness 并不一定需要覆盖完整的执行流程：仅对任务的初始阶段进行结构化设计，而将后续执行交由智能体自主完成，相较于完全结构化的工作流，反而能够获得更高的任务通过率（pass rate）。 原文链接：https://arxiv.org/abs/2605.21516

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。 如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。 合作邮箱：zhiwudazhanjiangshi#gmail.com 今天的主题是： Your Agents Are Aging Too: Agent Lifespan Engineering for Deployed Systems Summary 长期运行的 AI 智能体正越来越多地作为持续运行的业务系统投入部署，但它们仍然按照刚初始化的模型进行评估。部署首日（Day-one）的基准测试忽略了一个最基本的系统性问题：一个智能体在部署之后究竟能够保持可靠多久？ 即使模型权重保持冻结，智能体的有效状态（effective state）仍会持续变化：它会压缩交互历史、从不断增长的记忆库中检索信息、在信息更新后修订已有事实，并经历日常维护。因此，可靠性应当被视为整个智能体运行框架（agent harness）的生命周期属性，而不仅仅是基础模型在某一时刻的静态属性。 我们提出 AgingBench，一个面向智能体生命周期工程（agent lifespan engineering）的纵向可靠性基准。它不仅衡量已部署智能体是否会发生性能退化，还关注退化以何种形式出现，以及修复工作应当针对哪些环节展开。 AgingBench 将智能体老化归纳为四种机制：压缩老化（compression aging）、干扰老化（interference aging）、修订老化（revision aging）以及维护老化（maintenance aging）。 为了诊断这些失效机制，AgingBench 引入了时间依赖图（temporal dependency graphs）和成对的反事实探针（paired counterfactual probes），从而为记忆流水线（memory pipeline）的写入（write）、**检索（retrieval）和利用（utilization）**三个阶段生成诊断画像（diagnostic profiles）。 在涵盖 7 个场景、14 个模型、多种记忆策略，以及由运行器控制（runner-controlled）和自主运行（autonomous）的智能体的实验中，我们完成了约 400 次运行，覆盖 8–200 个会话。结果表明，智能体老化并非单一维度的现象：行为测试可能依然表现良好，而事实精度却已开始下降；同一模型内部，对衍生状态（derived state）的跟踪能力可能在一次实验中急剧崩溃；甚至对于同一个错误答案，根据诊断画像所揭示的失效机制不同，其所需的修复方式也可能完全不同。 这些结果表明，要实现可靠的智能体部署，仅仅依赖更强的部署首日模型是不够的；还需要对智能体整个生命周期进行评估、开展机制层面的诊断，并针对不同阶段实施有针对性的修复。 原文链接：https://arxiv.org/abs/2605.26302

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。 如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。 合作邮箱：zhiwudazhanjiangshi#gmail.com 今天的主题是： Forecasting Scientific Progress with Artificial Intelligence Summary 人工智能（AI）正越来越多地融入科学发现之中，然而它是否能够预见科学进展仍不明确。为了研究这一问题，我们引入了一个在受控知识约束下预测科学进展的时间落地评估框架。我们提出了 CUSP（基于截止日期约束的未见科学进展，Cutoff-conditioned Unseen Scientific Progress）——这是一个多学科且事件级别的基准测试，它通过可行性评估、机制推理、生成式解决方案设计以及时间预测来评估 AI 系统中的科学预测能力。 在 4,760 个科学事件中，我们观察到当前尖端模型存在系统性且高度依赖特定领域的局限性。虽然模型能够从竞争候选方案中识别出合理的合理研究方向，但它们无法可靠地预测科学进展是否会真正实现，并会系统性地错估进展发生的时间。不同领域的表现存在极大的异质性，其中 AI 自身进展的时间比生物学、化学和物理学的进展更具可预测性。 无论是事件发生在训练截止日期之前还是之后，模型的表现基本不受影响，这表明这些局限性不能完全用训练数据中的知识暴露来解释。在受控的信息获取条件下，增加截止日期前的知识可以提高性能，但无法消除与全信息设置之间的差距，而这一差距在具有高引用量的重大进展中表现得更为明显。此外，模型还表现出系统性的过度自信和强烈的响应偏差，这表明其不确定性估计并不可靠。 总而言之，当前的 AI 系统在作为科学进展的预测工具时表现不佳。获取先验知识并不能转化为可靠的预测能力，并且模型在性能上更多得益于事后信息的提供，而非前瞻性的预测。 原文链接：https://arxiv.org/abs/2605.22681

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。 如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。 合作邮箱：zhiwudazhanjiangshi#gmail.com 今天的主题是： Adapting the Interface, Not the Model: Runtime Harness Adaptation for Deterministic LLM Agents Summary LLM 智能体不仅受到其语言模型本身的影响，还受到运行时装备（runtime harness）的塑造，该装备介导了观察、工具使用、行动执行、反馈解读以及轨迹控制。尽管现有的智能体自适应方法主要更新模型参数，但在确定性、规则约束的领域中，许多失败实际上源于模型与环境接口（model–environment interface）之间的不匹配。 我们提出了 Life-Harness，这是一个具备生命周期感知能力的运行时装备，它可以在不改变模型权重或评估环境的情况下，提升冻结状态下 LLM 智能体的性能。Life-Harness 通过将反复出现的交互失败转化为可复用的干预措施（涵盖环境契约、程序化技能、行动实现和轨迹调节），从而从训练轨迹中演化而来，并在对未知任务进行评估时保持固定。 在来自 τ-bench、τ2-bench 和 AgentBench 的 7 个确定性环境中，Life-Harness 在 18 个模型骨干网络的 126 个“模型-环境”设置中改进了其中的 116 个，平均相对提升达 88.5%。仅从 Qwen3-4B-Instruct 的轨迹中演化出的装备可以迁移到其他 17 个模型上，这表明 Life-Harness 捕捉到的是可复用的环境侧结构，而非特定于模型的行为。这些结果将运行时接口自适应定位为一种与“以模型为中心”的智能体训练互补的替代方案。 原文链接：https://arxiv.org/abs/2605.22166

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。 如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。 合作邮箱：zhiwudazhanjiangshi#gmail.com 今天的主题是： Do Language Models Need Sleep? Offline Recurrence for Improved Online Inference Summary 基于 Transformer 的大语言模型越来越多地被用于长周期任务；然而，它们的注意力机制在处理长上下文时扩展性较差。为了解决这一问题，我们研究了一种类似于睡眠的巩固机制（sleep-like consolidation mechanism），在该机制中，模型会定期将最近的上下文转化为持久的快速权重（fast weights），然后清除其键值缓存（KV cache）。 在睡眠期间，模型会对积累的上下文进行 N 次线下循环处理（recurrent passes），并通过一种学习到的局部规则更新其状态空间模型（SSM）块中的快速权重。在推理过程中，这种做法将额外的计算量转移到了睡眠阶段，同时保持了觉醒时（wake-time）预测的低延迟。 我们在受控的合成任务（包括细胞自动机和多步图检索）以及一个现实的数学推理任务上测试了我们的方法，在这些任务上，常规的 Transformer 以及 SSM-Attention 混合模型均宣告失败。随后我们表明，增加模型的睡眠持续时间 N 可以提升性能，其中在需要更深层次推理的样本上，性能提升最为显著。 原文链接：https://arxiv.org/abs/2605.26099

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。 如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。 合作邮箱：zhiwudazhanjiangshi#gmail.com 今天的主题是： AUTOSCIENTISTS: Self-Organizing Agent Teams for Long-Running Scientific Experimentation Summary 科学研究是通过“假设生成、实验设计、执行和修正”的迭代循环来推进的。AI 智能体可以使这一过程的部分环节实现自动化，但现有的方法通常遵循单一的研究轨迹，或者通过一个具有固定目标的核心规划器来进行协调。因此，在长期运行的实验中，它们难以维持并行探索、难以随着实验证据的变化而进行调整，也难以保存有关失败方向的知识。 我们引入了 AutoScientists，这是一个用于长期计算科学实验的去中心化 AI 智能体团队。智能体们共同解读一个共享的实验状态，围绕有前景的假设自发组织成团队，在调用实验算力前对提案进行审辩式评议（critique），并分享成功与失败的经验以减少冗余探索。 在相同的实验预算下，AutoScientists 在生物医学机器学习、语言模型训练优化以及蛋白质适应度预测方面均比先前的 AI 智能体有所提升： * 在 BioML-Bench 上（涵盖生物医学成像、蛋白质工程、单细胞组学和药物发现），AutoScientists 在 24 个任务中实现了 74.4% 的平均排行榜百分位，比最强的 AI 智能体提高了 +8.33%。 * 在 GPT 训练优化上，AutoScientists 达到目标验证位/字节（bits-per-byte）的速度比 Autoresearch 快 1.9 倍，并且能够从一个初始的最优基准（starting champion）出发持续发现改进方案，而单智能体方法在此时则无法找到任何改进（采纳的改进方案数量为 7 对 0）。 * 在 ProteinGym 适应度预测上，AutoScientists 发现了一种用于 ACE2-Spike 结合的方法，该方法相比当前最先进（SOTA）的模型在斯皮尔曼相关系数（Spearman correlation）上提升了 +12.5%。在不加修改地应用到所有 217 个 ProteinGym 测试中时，该方法将先前的最先进水平提升了 +6.5%（斯皮尔曼相关系数）。 原文链接：https://arxiv.org/abs/2605.28655

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。 如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。 合作邮箱：zhiwudazhanjiangshi#gmail.com 今天的主题是： Compiling Agentic Workflows into LLM Weights: Near-Frontier Quality at Two Orders of Magnitude Less Cost Summary 智能体编排框架在近年来大量涌现，LangGraph、CrewAI、Google ADK、OpenAI Agents SDK、Semantic Kernel、Strands 和 LlamaIndex 等框架在 GitHub 上累计获得的星标（stars）已突破 290,000 个。所有这些框架都遵循同一种模式：在 LLM 之上设立一个外部编排器，在每一步（turn）中注入指令并做出路由决策。 近期的研究表明，对于程序化任务而言，这种架构的性能会被一种更简单的方法所压倒：即直接将操作程序写入尖端模型（frontier model）的系统提示词中 [Dennis et al., 2026a]；但这需要付出代价——它会消耗上下文窗口、每次对话都需要调用尖端模型，并且会将专有操作程序暴露给第三方供应商。将程序编译到经过微调的小型模型的权重中——从而创建一个“隐形智能体”（subterranean agent）——应该能解决所有这些问题，且先前的研究（SimpleTOD、FireAct、SynTOD、WorkflowLLM、Agent Lumos）已经证实了该技术的可行性。然而，开发者的采纳态度却压倒性地偏向于编排框架。 我们识别出了三个普遍认知的障碍，并通过在机票酒店预订（14 个节点）、Zoom 技术支持（14 个节点，包含特定产品知识）以及保险理赔（55 个节点，6 个决策中心）三个场景中的实证研究，对它们逐一进行了解决。 原文链接：https://arxiv.org/abs/2605.22502

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。 如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。 合作邮箱：zhiwudazhanjiangshi#gmail.com 今天的主题是： SkillOpt: Executive Strategy for Self-Evolving Agent Skills Summary 今天的智能体技能（skills）要么是手工打造的、要么是一阶段（one-shot）生成的，或者是通过控制松散的自我修正演化而来的，这些方式的表现都不像针对技能的深度学习优化器，且在反馈下都无法可靠地超越其初始起点。我们认为，技能反而应该作为冻结状态下智能体的外部状态（external state）来进行训练，并应当具备与让权重空间优化（weight-space optimization）可复现相同的严谨度。 据我们所知，SkillOpt 是首个针对智能体技能的系统化、可控的文本空间优化器（text-space optimizer）：一个独立的优化器模型将带有评分的测试流（scored rollouts）转化为对单个技能文档进行有限制的“添加/删除/替换”编辑，并且只有当某次编辑能严格提升留出验证集（held-out validation score）的分数时，该编辑才会被接受。文本学习率预算（textual learning-rate budget）、被拒绝编辑缓冲区（rejected-edit buffer）以及基于轮次（epoch-wise）的慢速/元更新（slow/meta update），使得技能训练保持稳定，同时在部署时增加了零推理时间模型调用（zero inference-time model calls）。 在涵盖 6 个基准测试、7 个目标模型和 3 个执行装备（直接对话、Codex、Claude Code）的测试中，SkillOpt 在所有 52 个被评估的（模型、基准测试、装备）组合单元格中均位列第一或并列第一，并击败了包括人类编写、一阶段 LLM 生成、Trace2Skill、TextGrad、GEPA 和 EvoSkill 技能在内的所有同单元格竞争对手。在 GPT-5.5 上，它在直接对话中将无技能基础准确率提升了 +23.5 个百分点，在 Codex 智能体循环中提升了 +24.8 个百分点，在 Claude Code 中提升了 +19.1 个百分点。迁移实验进一步表明，经过优化的技能产物在跨模型规模迁移、在 Codex 与 Claude Code 执行环境之间迁移，以及在无需进一步优化的情况下迁移到相近的数学基准测试时，依然能保持其价值。 原文链接：https://arxiv.org/abs/2605.23904

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。 如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。 合作邮箱：zhiwudazhanjiangshi#gmail.com 今天的主题是： CSIDH: An Efficient Post-Quantum Commutative Group Action Summary 我们提出了一种高效的交换群作用（commutative group action），适用于后量子环境下的非交互式密钥交换。我们的构建沿用了 Couveignes–Rostovtsev–Stolbunov 加密系统的布局，但我们将其应用于定义在大素数域 Fp​ 上的超奇异椭圆曲线（supersingular elliptic curves），而非普通椭圆曲线。由该群作用产生的 Diffie–Hellman 方案允许以极低的成本进行公钥验证，在实际运行中速度合理，并且在推测的 AES-128 安全级别下公钥仅为 64 字节，符合 NIST 的后量子安全类别 I（Category I）。 原文链接：https://eprint.iacr.org/2018/383.pdf

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。 如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。 合作邮箱：zhiwudazhanjiangshi#gmail.com 今天的主题是： Proofs of Useful Work from Arbitrary Matrix Multiplication Summary 我们重新审视了一个长期存在的开放性问题：在矿工自身选择输入 x 的真正无许可（permissionless）环境中，如何基于现实世界中的计算任务 T(x)（而非人为构建的随机哈希）来实现中本聪的共识。设计此类“有功证明”（Proof-of-Useful-Work, PoUW）协议的挑战在于，如何利用 T(x) 的原生计算来生成具有指定难度的证明证书，且该证书相较于 T(⋅) 的最坏情况复杂度而言，其计算开销可以忽略不计——这能确保恶意矿工无法通过欺骗验证器，在消耗同等计算资源的情况下获得比诚实矿工更高的接受概率来“操纵系统”。事实上，对于任何任务 T，获得一个具有 O(1) 倍开销的 PoUW 是轻而易举的，但这也毫无用处。 我们的核心成果是针对矩阵乘法任务 MatMul(A,B)（针对任意矩阵）提出的一种 PoUW 协议。与朴素的 MatMul相比，该协议仅带来 1+o(1) 的乘法开销（即使在存在目前尚不实用的快速矩阵乘法类算法的情况下依然成立）。我们推测我们的协议具有最佳的安全性，即恶意证明者无法获得相比诚实证明者的任何显著优势。该推测基于将我们协议的难度归约至求解一批低秩随机线性方程组的任务，这一任务本身也具有独立的学术价值。 由于矩阵乘法是大模型等 AI 计算以及无数工业级应用的瓶颈，该原语为设计一种全新的 L1 基础层协议提供了具体的方案。它几乎消除了比特币挖矿带来的能源浪费——允许 GPU 用户通过将计算“复用”于区块链共识来换取区块奖励（一举两得），从而降低其 AI 训练和推理成本。该区块链目前正在构建中。 原文链接：https://arxiv.org/abs/2504.09971

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。 如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。 合作邮箱：zhiwudazhanjiangshi#gmail.com 今天的主题是： A Methodology for Selecting and Composing Runtime Architecture Patterns for Production LLM Agents Summary 生产环境中的大语言模型（LLM）智能体将随机的模型输出与确定性的软件系统结合在一起，然而这两者之间的边界却鲜少被视为一等架构对象（first-class architectural object）来对待。本文将这一边界命名为随机-确定性边界（Stochastic-Deterministic Boundary, SDB）：这是一种由提案器（proposer）、验证器（verifier）、提交步骤（commit step）和拒绝信号（reject signal）组成的四部分契约，它规范了 LLM 的输出如何转化为系统行为。我们认为，SDB 是生产级智能体运行时（runtimes）的核心承重原语。 围绕这一原语，我们将智能体运行时的设计划分为三个核心关注点：协同（Coordination）、状态（State）和控制（Control）。我们提供了一个包含六种运行时模式的目录，这些模式在对话式、自主式和长周期智能体中对 SDB 进行了不同的组合：分层委托（hierarchical delegation）、分发-聚合加 Saga 模式（scatter-gather plus saga）、事件驱动排序（event-driven sequencing）、共享状态机（shared state machine）、主管加网关（supervisor plus gate）以及人机回环（human in the loop）。对于每种模式，我们都追溯了其与分布式系统概念的渊源，并识别出了当执行者（worker）变为随机模型时所发生的变化。 本文的贡献包括：一套用于选择运行时模式的五步方法论；一种将生产环境故障映射到模式缺陷的诊断流程；以及一种被称为重放分歧（replay divergence）的失效模式——即在模型版本或提示词发生变化时，基于 LLM 的确定性事件日志消费者会产生不同的下游输出。一个程式化的可靠性分解公式将单次调用的模型方差与架构惯性（architectural momentum）分离开来，从而有力地支持了这一论点：随着模型方差的降低，模式的选择和 SDB 的强度将成为提升长期可靠性愈发重要的杠杆。我们将该方法论应用到了五种工作负载中，并为一个运行周期为 90 天的合同续签智能体提供了一个可运行的参考实现。 原文链接：https://arxiv.org/abs/2605.20173

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。 如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。 合作邮箱：zhiwudazhanjiangshi#gmail.com 今天的主题是： MetaCogAgent: A Metacognitive Multi-Agent LLM Framework with Self-Aware Task Delegation Summary 多智能体大语言模型（LLM）系统在通过智能体协同解决复杂任务方面展现出了良好的前景。然而，现有的框架通常基于预定义的角色来分配任务，而没有考虑智能体是否能准确评估自身的能力边界，从而导致智能体在执行超出其专业范围的任务时表现出过度自信。 受到认知科学中元认知理论的启发，我们提出了 MetaCogAgent，这是一个多智能体 LLM 框架，其中每个智能体都配备了一个“元认知自我评估单元”（Metacognitive Self-Assessment Unit），用于在执行前评估任务与能力的匹配度。该框架带来了三项核心贡献： 1. 自我评估机制：通过将语言化的不确定性与历史能力图谱相结合，来评估每个任务的置信度； 2. 自适应委托协议：通过跨智能体评估，将低置信度的任务路由给更合适的智能体； 3. 能力边界学习模块：通过控制论反馈，迭代地精细化每个智能体的能力模型。 在我们构建的 MetaCog-Eval 基准测试（涵盖 5 个认知维度的 700 个任务）上的实验表明，MetaCogAgent 实现了 82.4% 的任务准确率——比表现最好的路由基线高出 8.7%——同时比 AutoGen 减少了 5% 的 API 调用，比集成投票（ensemble voting）减少了 34% 的调用。消减实验（ablation studies）进一步证实，每个元认知组件都对系统整体性能做出了贡献。 原文链接：https://arxiv.org/abs/2605.17292

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。 如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。 合作邮箱：zhiwudazhanjiangshi#gmail.com 今天的主题是： Agentic Systems as Boosting Weak Reasoning Models Summary 一个由弱推理模型调用组成的委员会，能否达到更强模型的性能？我们将“基于验证器支持的委员会搜索”（verifier-backed committee search）作为推理语言模型在推理阶段的提升机制（inference-time boosting）进行了研究。 这一机制并非简单地依靠“智能体越多越好”：样本能够暴露潜在的正确解决方案，而批评器（critics）和比较器（comparators）必须在无法访问隐藏验证器的情况下恢复这些方案。我们通过将该视角拆分为：提案覆盖率（proposal coverage）、局部可识别性（local identifiability）、进展（progress）和多样性（diversity），从而将其公式化。我们证明了通过重复采样可以放大覆盖率，但采样本身无法创建有效的批评器或比较器；可靠的性能放大需要额外的局部正确性信号（local soundness signal），例如执行、证明检查、类型检查、测试或约束求解。我们给出了基于排名的边界，展示了局部选择错误在何时会组合成可靠的轨迹，并刻画了提案侧的天花板：预知（oracle）最高期望值 best-of-k 仅收敛于提案系统分配了非零有用概率的任务切片总量。 在实验中，在 SWE-bench Verified 基准测试上，单次 GPT-5.4 nano 提案可以解决 67.0% 的任务。使用相同的 nano 模型，我们的“批评器-比较器”编排机制在 k=8 次提案中达到了 76.4% 的准确率，追平了 Gemini 3 Pro 和 Claude Opus 4.5 Thinking 的独立表现，并逼近了 79.0% 的预知（oracle）best-of-8 上限。 因此，许多正确的补丁（patches）已经存在于弱模型的提案池中，主要的挑战在于如何将它们筛选出来。而剩余的失败案例则大多属于提案覆盖率失败，这表明存在着仅靠更强选择机制也无法弥补的共同盲区。 原文链接：https://arxiv.org/abs/2605.14163

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。 如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。 合作邮箱：zhiwudazhanjiangshi#gmail.com 今天的主题是： Agentic Discovery of Neural Architectures: AIRA-Compose and AIRA-Design Summary 迈向递归自我提升，我们研究了 LLM 智能体在超越标准 Transformer 的范畴下，自主设计基础模型的能力。我们提出了一种双框架方法：用于高层架构搜索的 AIRA-Compose，以及用于底层机制实现的 AIRA-Design。 AIRA-Compose 动用了 11 个智能体，在 24 小时的预算限制下探索基础计算原语。智能体们对百万参数级的候选模型进行评估，并将最优的设计外推至 3.5 亿（350M）、10 亿（1B）和 30 亿（3B）参数规模。这催生了涵盖两个家族的 14 种架构：AIRAformers（基于 Transformer）和 AIRAhybrids（Transformer-Mamba 混合型）。在 1B 规模下进行预训练后，这些模型始终优于 Llama 3.2 和由 Composer 搜索到的基线模型。在下游任务上，AIRAformer-D 和 AIRAhybrid-D 相比 Llama 3.2 分别将准确率提升了 2.4% 和 3.8%。此外，AIRA-Compose 还发现了一些具备极高扩展效率前沿（scaling frontiers）的模型：AIRAformer-C 的扩展速度比 Llama 3.2 和 Composer 最好的 Transformer 分别快 54% 和 71%，而 AIRAhybrid-C 的扩展速度则比 Nemotron-2 快 23%，比 Composer 最好的混合架构快 37%。 AIRA-Design 则指派了 20 个智能体来编写用于处理长距离依赖的新颖注意力机制，以及高性能的训练脚本。在长程竞技场（Long Range Arena）基准测试中，智能体设计的架构在文档匹配和文本分类任务上，与人类最先进水平（SOTA）的差距分别缩小到了 2.3% 和 2.6% 以内。在 Autoresearch 基准测试中，Greedy Opus 4.5 在固定时间预算下达到了 0.968 的验证位/字节（bits-per-byte），超越了已发表的最低值。 这些框架共同表明，AI 智能体能够自主发现与手工设计基线相媲美甚至超越的架构和算法优化。这为探索下一代基础模型确立了一种强大的范式，标志着向递归自我提升迈出了切实的一步。 原文链接：https://arxiv.org/abs/2605.15871

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。 如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。 合作邮箱：zhiwudazhanjiangshi#gmail.com 今天的主题是： MEMO: Memory as a Model Summary 大型语言模型（LLMs）在广泛的任务中都取得了强大的性能，但在预训练之后、进行后续更新之前，它们始终保持着冻结状态。许多现实世界的应用都需要及时、特定领域的非公开/特定信息，这激发了对高效整合新知识机制的需求。 在本文中，我们引入了 MeMo（模型即内存，Memory as a Model），这是一个模块化框架，它将新知识编码到一个专用的记忆模型中，同时保持 LLM 的参数不变。与现有方法相比，MeMo 具有以下几个优势： * (a) 它能够捕获复杂的跨文档关系； * (b) 它对检索噪声具有鲁棒性； * (c) 它避免了 LLM 中的灾难性遗忘； * (d) 它不需要访问 LLM 的权重或输出对数几率（logits），从而实现了与开源和专有闭源 LLM 的即插即用集成； * (e) 在推理时，其检索成本与语料库大小无关。 我们在 BrowseComp-Plus、NarrativeQA 和 MuSiQue 三个基准测试上的实验结果表明，在各种不同的设置下，MeMo 与现有方法相比均取得了强劲的性能表现。 原文链接：https://arxiv.org/abs/2605.15156