【第650期】AutoScientists:自组织智能体团队助力长期科学实验探索Seventy3

【第650期】AutoScientists:自组织智能体团队助力长期科学实验探索

16分钟 ·
播放数9
·
评论数0

Seventy3:借助NotebookLM的能力进行论文解读,专注人工智能、大模型、机器人算法、crypto方向,让大家跟着AI一起进步。

如果你想要解读自己的论文,获得更多曝光度。请联系小助手微信:seventy3_podcast 加群。
合作邮箱:zhiwudazhanjiangshi#gmail.com

今天的主题是:

AUTOSCIENTISTS: Self-Organizing Agent Teams for Long-Running Scientific Experimentation

Summary

科学研究是通过“假设生成、实验设计、执行和修正”的迭代循环来推进的。AI 智能体可以使这一过程的部分环节实现自动化,但现有的方法通常遵循单一的研究轨迹,或者通过一个具有固定目标的核心规划器来进行协调。因此,在长期运行的实验中,它们难以维持并行探索、难以随着实验证据的变化而进行调整,也难以保存有关失败方向的知识。

我们引入了 AutoScientists,这是一个用于长期计算科学实验的去中心化 AI 智能体团队。智能体们共同解读一个共享的实验状态,围绕有前景的假设自发组织成团队,在调用实验算力前对提案进行审辩式评议(critique),并分享成功与失败的经验以减少冗余探索。

在相同的实验预算下,AutoScientists 在生物医学机器学习、语言模型训练优化以及蛋白质适应度预测方面均比先前的 AI 智能体有所提升:

  • 在 BioML-Bench 上(涵盖生物医学成像、蛋白质工程、单细胞组学和药物发现),AutoScientists 在 24 个任务中实现了 74.4% 的平均排行榜百分位,比最强的 AI 智能体提高了 +8.33%。

  • 在 GPT 训练优化上,AutoScientists 达到目标验证位/字节(bits-per-byte)的速度比 Autoresearch 快 1.9 倍,并且能够从一个初始的最优基准(starting champion)出发持续发现改进方案,而单智能体方法在此时则无法找到任何改进(采纳的改进方案数量为 7 对 0)。

  • 在 ProteinGym 适应度预测上,AutoScientists 发现了一种用于 ACE2-Spike 结合的方法,该方法相比当前最先进(SOTA)的模型在斯皮尔曼相关系数(Spearman correlation)上提升了 +12.5%。在不加修改地应用到所有 217 个 ProteinGym 测试中时,该方法将先前的最先进水平提升了 +6.5%(斯皮尔曼相关系数)。

原文链接:arxiv.org