【第655期】推理时执行轨迹的对齐Harness设计

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

今天的主题是：

Harnesses for Inference-Time Alignment over Execution Trajectories

Summary

Harness 工程（harness engineering）已成为大型语言模型（LLM）智能体一种重要的推理时（inference-time）技术，其目标是通过任务分解和引导式执行提升智能体的长期表现。然而，更复杂的 harness 并不一定更优：增加任务分解的粒度或执行引导的强度，有时能够改善执行过程，但也可能降低最终任务的成功率。

我们从推理时轨迹对齐（inference-time trajectory alignment）的视角研究 harness 的设计。该视角将 harness 拆解为两种机制：任务分解（task decomposition），负责将任务组织为一系列子目标；以及引导式执行（guided execution），负责在执行过程中重塑局部动作分布（local action distributions）。

这种机制划分使我们能够量化工作流粒度（workflow granularity）、重试预算（retry budgets）以及引导导致的动作重加权（guidance-induced action reweighting）如何共同决定 harness 设计的性能上限。同时，它也揭示了若干具体的失效模式，包括过度分解（over-decomposition）、过度剪枝（over-pruning）以及幻觉式执行（hallucinated execution）。

我们通过受控的合成实验（controlled synthetic experiments）和真实终端智能体基准测试（real terminal agent benchmarks）验证了上述理论预测。

受该理论启发，我们进一步发现，一个高效的 harness 并不一定需要覆盖完整的执行流程：仅对任务的初始阶段进行结构化设计，而将后续执行交由智能体自主完成，相较于完全结构化的工作流，反而能够获得更高的任务通过率（pass rate）。

原文链接：arxiv.org