14
0> 系列：AI落地实践｜模型之外的工作系统：Harness
> 第 1 集；原稿范围 p01–p08。标题、页码及本说明不入口播；各页正文按顺序连续口播。
### p01
企业做 AI，别只盯着换模型。同一个模型，换套工作框架，成绩从 30.2% 升到 95.5%。
这套模型外的工作框架叫 Harness。根据 2026 年 8 月 26 日 Y Combinator 的 Paper Club 分享，这是 Claude Opus 5 在 ARC-AGI-3 中，裸考最好成绩与加上 Harness 后成绩的对照，模型权重没有变。
### p02
另外，英伟达的另一套系统在同一场考试里拿到 100%。这是独立结果，不是同一个模型的第三个成绩。
这一集，我们先回答一个问题：同一个模型，为什么换一套工作框架，成绩就能差三倍？
### p03
先说一个反直觉的事实：框架这么重要，但在过去很长时间里，它在行业里并不被重视。
人们给它起了各种外号。有人说，它不就是个 wrapper 吗？一个壳。有人说，不就是点脚手架吗？搭着用的。还有人说，不就是 prompt engineering，提示词工程，算不上正经研究。
### p04
原视频里展示了两条公开的话。一条来自一个月前的论坛，原话是："我不确定这种 prompt engineering 是否配得上出现在顶级机器学习会议上。"另一条说："上下文工程，context engineering，不是一个研究问题。"
但数据怎么说？这里要纠正一个很多人包括我们之前也搞错的细节。所谓"有无harness之间差 18%"，这个数字不是 ARC 考试的，它来自另一个排行榜，TerminalBench 2。在这个排行榜上，模型是同一个，都是 Claude Opus 4.6。Stanford IRIS 团队做的 Meta-Harness，准确率 76.4%；Anthropic 官方的 Claude Code，58.0%。同一颗"大脑"，harness不同，差了 18.4 个百分点。
### p05
还有一张更宏观的图，来自评测机构 METR。横轴是模型发布的时间，从 GPT-2 一直排到 2026 年的模型；纵轴是模型有 50% 成功率可以完成的软件任务时长。GPT-2 时代只有几秒钟，到 2026 年，Claude Opus 4.6 的点已经越过四小时刻度，落在四小时和十六小时之间；更新的预览版模型逼近十六小时，超过十六小时的任务他们目前都测不准。这条曲线显示长任务能力在提升，但仅凭这张图，不能把提升幅度归因给harness。
### p06
主持人在现场做了一个时代划分。他把过去叫"静态harness时代"：harness的循环、工具、记忆、技能都是固定的，harness不会改自己。而最近大约六个月，行业进入了一个新阶段——"自我改进harness时代"：harness可以一边干活，一边修改自己的提示词、自己的组件，甚至自己的代码。
### p07
这个转变为什么重要？原视频引用了一家叫 Trajectory 的公司 CEO 的观点。他说，经济世界是为"经验"付费的：一个博士毕业、智商很高但没有经验的人，和一个干了三十年、智商高而且经验深厚的专家，市场给后者的报酬高得多。我们的模型呢？行业一直在拼命推高一个维度——困惑度 perplexity，它大致相当于模型的智商；但另一个维度，"测试时的经验"，我们用得远远不够。
### p08
他还做过一个在线学习实验：把样例一个一个加给模型，你会发现，上下文学习加到大约四五十个样例之后，在验证集上就不再提升了。想继续学，你得换流程，上小秩的 LoRA，再上大秩的 LoRA，最后上完整微调 SFT。数据量不同，就得换一套完全不同的训练方法，这件事本身就很别扭。而"让模型在干活的过程中持续学习"，正是harness现在最闪光的地方。
所以，企业做 AI，除了看模型有多强，也要看它有没有积累和利用经验的工作框架。下一集，我们接着问：模型如何学会临场适应？
