Anthropic Engineering 近期发布的博客文章揭示了 AI 自主开发领域框架(Harness)设计的关键突破(www.anthropic.com)。
工程师 Prithvi Rajasekaran 在长达数月的研究中识别出两个核心障碍:其一是“上下文焦虑”现象——模型在长时任务中随着上下文窗口填充而逐渐失去方向感,导致过早收尾;其二是“自我评估失真”——AI 在评价自身输出时表现出系统性的过度自信,即便质量平庸也倾向于给予正面评价。
受生成对抗网络(GAN)架构启发,Prithvi 设计了一套生成器与评估器分离的多 Agent 框架。该方法的创新之处在于将执行与评判职能解耦:生成器负责创建输出,独立的评估器则依据明确的评分标准进行客观审查。这种对抗性反馈机制有效克服了 AI 的自我评估盲区。
研究首先在前端设计领域验证了该框架的有效性。通过定义设计质量、原创性、工艺和功能性四个维度的评分体系,评估器能够识别并惩罚“白色卡片配紫色渐变”等 AI 生成的典型模式,推动生成器产出更具创意的设计方案。在荷兰艺术博物馆网站案例中,系统在第十轮迭代时实现了质的飞跃——从常规布局转向具有 3D 空间感的沉浸式体验。
该方法随后扩展至全栈应用开发,形成规划器、生成器、评估器的三 Agent 架构。对比实验显示,完整框架虽然成本提升至 200 美元、耗时 6 小时,但相较于 9 美元、20 分钟的单 Agent 方案,输出质量实现了量级跃升——从功能残缺的原型进化为可实际使用的应用程序。这一研究为 AI 工程实践提供了重要启示:通过精心设计的框架结构,可以将现有模型的能力边界向外拓展,而非被动等待下一代模型的出现。
