# 模型如何学会临场适应？

> 系列：AI落地实践｜模型之外的工作系统：Harness

模型如何学会临场适应？ARC-AGI 到底在考什么？

YC Paper Club 分享：Claude Opus 5 在 ARC-AGI-3 中，裸考最好成绩 30.2%，加上 Harness 后 95.5%，模型权重没有变。Harness 是模型外组织工具、记忆和流程的工作框架。英伟达另一系统的 100% 是独立结果。

ARC-AGI 考的是流体智力：面对没见过的问题和规则，能多快适应、摸出规律，而不是记住了多少知识。

### p10

冬季 26 批次的每个游戏，都被设计成技能正交：前一个游戏学会的技巧，在下一个里用不上。这是为了单独考查临场适应，防止靠记忆和套路刷分。

它还有私有保留集，只有两个人能访问：Greg 和 ARC 创始人弗朗索瓦·肖莱。模型见不到这份保密卷。

### p11

面对全新规则、每题重新摸索，模型裸考只能解出大约三成。Harness 补上的有三样：持久的状态、能用的工具、更多算力。

### p12

第一条路线，是让 Harness 在做事时自我改进。

### p13

DSPy 的思路是：既然没法对"写系统提示"这件事反向传播，它就用遗传式的办法，生成一批候选提示，合并、评估、筛选，在一个小训练集上把最优提示"进化"出来。

### p14

2025 年 5 月问世、2026 年 3 月更新的 Darwin Gödel Machines，达尔文·哥德尔机器更激进：它维护一个档案库，里面是很多"harness加提示"的组合，采样出来，用适应度函数评估，再写回档案；而一个元harness，允许智能体直接修改自己正在运行的harness代码，把自己变成另一个harness。元harness的工作，就是生产harness。

### p15

Continual Harness 则在记忆里增加了历史这个类别，最关键的一步是 DAgger 风格的在线学习：用刚发生的少量经验，直接在测试时更新模型的权重。主持人判断，这是极其值得投入的方向。

### p16

除了让框架自我改进，还要决定 AI 在哪运行。斯坦福 Hazy Research 的 Jon Saad-Falcon 提出把 AI 拉回个人设备：云端订阅和 API 每年累计数千美元；敏感数据送到第三方；智能是租用而非拥有；能耗比本地高出几个数量级。

### p17

但现在本地模型终于够用了。消费级加速器，配合量化，已经能跑 10 亿到 1280 亿参数的开源模型；Qwen、Gemma 这些开源家族，落后云端前沿只有 6 到 12 个月，差距以月计，不再以年计。

他把个人 AI 栈拆成五个可以互换的原语：用户界面；负责组合推理的智能体；设备端模型，比如 Qwen3.5、GPT-OSS、Gemma 3n；推理引擎；以及硬件，Apple Silicon 到英伟达都算。再加上工具、记忆，和从个人轨迹里持续学习的机制，包括 GRPO、SFT、LoRA。

### p18

他们还有个聪明的桥接做法：让强大的云端模型负责诊断、提建议、把关，产出针对本地模型的优化方案，但日常推理全部在本地跑，不付云端的钱。效果很直观：搜索优化后的 Qwen3.5-9B，在 PinchBench 上 100%，在 LiveCodeBench 上 83%，在 LiveResearchBench 上 91%；而达到云端同等质量所需的优化成本，比 SFT、LoRA、DSPy、GEPA 低 7 到 11 倍。

### p19

在这项研究展示的条件下，幻灯片给出的最终结果是：设备端系统和最好的云端模型，平均准确率只差 3.2 个百分点，8 个基准里有 4 个追平甚至超过；而成本，约为云端的八百分之一，延迟约为四分之一。他的预测是：未来大部分日常推理，会发生在个人设备和本地工作站，而不是云端。

从临场适应到本地运行，关键都在于：让模型拥有能积累经验、适合任务的工作框架。