科学奥赛新考场:ScienceArena如何给大模型发“金牌”?

科学奥赛新考场:ScienceArena如何给大模型发“金牌”?

9分钟 ·
播放数8
·
评论数0

如今的AI在科学推理上常被传统测试“放水”——题海太熟、记忆刷分,真假推理难辨。为此,研究者打造了ScienceArena,一个基于十三项物理、化学、生物国际奥赛真题的新基准。它把官方PDF、图表、评分细则全部数字化,由奥赛奖牌得主双重审核,再匹配专家校准的AI评分系统,既能量出过程分,又逼近真实竞赛标准。结果显示顶尖模型已能摸到奖牌线,但化学结构与长流程推理仍是硬伤。想知道大模型的理科“含金量”?

原文:arxiv.org