【第642期】AIRA：大语言模型智能体自主发现神经架构的研究

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

今天的主题是：

Agentic Discovery of Neural Architectures: AIRA-Compose and AIRA-Design

Summary

迈向递归自我提升，我们研究了 LLM 智能体在超越标准 Transformer 的范畴下，自主设计基础模型的能力。我们提出了一种双框架方法：用于高层架构搜索的 AIRA-Compose，以及用于底层机制实现的 AIRA-Design。

AIRA-Compose 动用了 11 个智能体，在 24 小时的预算限制下探索基础计算原语。智能体们对百万参数级的候选模型进行评估，并将最优的设计外推至 3.5 亿（350M）、10 亿（1B）和 30 亿（3B）参数规模。这催生了涵盖两个家族的 14 种架构：AIRAformers（基于 Transformer）和 AIRAhybrids（Transformer-Mamba 混合型）。在 1B 规模下进行预训练后，这些模型始终优于 Llama 3.2 和由 Composer 搜索到的基线模型。在下游任务上，AIRAformer-D 和 AIRAhybrid-D 相比 Llama 3.2 分别将准确率提升了 2.4% 和 3.8%。此外，AIRA-Compose 还发现了一些具备极高扩展效率前沿（scaling frontiers）的模型：AIRAformer-C 的扩展速度比 Llama 3.2 和 Composer 最好的 Transformer 分别快 54% 和 71%，而 AIRAhybrid-C 的扩展速度则比 Nemotron-2 快 23%，比 Composer 最好的混合架构快 37%。

AIRA-Design 则指派了 20 个智能体来编写用于处理长距离依赖的新颖注意力机制，以及高性能的训练脚本。在长程竞技场（Long Range Arena）基准测试中，智能体设计的架构在文档匹配和文本分类任务上，与人类最先进水平（SOTA）的差距分别缩小到了 2.3% 和 2.6% 以内。在 Autoresearch 基准测试中，Greedy Opus 4.5 在固定时间预算下达到了 0.968 的验证位/字节（bits-per-byte），超越了已发表的最低值。

这些框架共同表明，AI 智能体能够自主发现与手工设计基线相媲美甚至超越的架构和算法优化。这为探索下一代基础模型确立了一种强大的范式，标志着向递归自我提升迈出了切实的一步。

原文链接：arxiv.org