这场题为《Is the Agent Harness Dead?》的演讲,由 AI Engineer 大会发布,演讲者 Jediah Katz 于 2025 年初加入 Cursor,是团队中在任最久的 agent harness 工程师,负责 harness 的上下文层与编排层;Cursor 被收购后,他一同进入 SpaceXAI,现主攻 Grokbot。Grokbot 是 SpaceXAI 与 Cursor 联合打造的“永远在线的数字同事”,拥有独立云端虚拟机,可直接登录软件和邮箱。
这场演讲要回答的是一个正在行业里被反复提起的问题:agent 的 harness(模型外面那层提示、工具、上下文与编排)还有存在价值吗?
Jediah Katz 先给出反向证据。UC Berkeley 的研究者拿七个前沿模型,横跨Pi、Codex、Claude Code 等多套 harness 跑 SWE-bench Lite,分数没有显著差异;Apple 与 EPEL 在 MLE-bench 上的结论类似。他的解释是数据飞轮:harness 把难任务变得可及,更多用户因此跑出更多编码数据,模型自己把这些能力学会,harness 再把自己多加的那部分删掉。也就是说,harness 一直在亲手终结自己。
但这只是 harness 的一半。另一半是它同时打开新边界。Grokbot 的做法是一个长驻的 coordinator bot 去编排 worker swarm,他打的比方是顶级律师带一队 paralegal:单个 agent 做不完的活,靠分工和调度做完了。在 Cursor 时期他的日常是不断删提示、删护栏,到了 Grokbot 反而要把这些东西加回来。
他点出三件模型吸收不了的事:基础设施与运行时,agent 必须活在云端的独立机器上,不能跑在会休眠的笔记本里;信任与安全,权限要收敛、护栏要在,否则某天早上会收到一张一万美元的账单;效率,同样分数下不同 harness 的单任务成本差得很远,他上个月就在靠缓存命中率、token 效率和模型组合来压 Grokbot 的成本与延迟。
方法论层面他给的建议是:harness 要设计成容易加上、也容易删掉;尽量收敛用户能看到的内部细节,因为凡是暴露出去的,用户一定会依赖(Hyrum 定律);要针对底层原语设计,比如事件订阅这类机制;把临时补丁登记成 shim,用 bot 盯着,不再触发就自动提 PR 删掉。最后的判断是:六个月内,90% 的 agent 工作会跑出笔记本之外。
一句话概括这场演讲的立场:补短板的 harness 确实在死去,但打开新任务边界、并且承载信任与效率的那部分 harness,才刚开始。
原视频:www.youtube.com
