EP042 | Google、OpenAI、Anthropic 都在用的排行榜，1/3答案写在题目里AI下一帧

EP042 | Google、OpenAI、Anthropic 都在用的排行榜，1/3答案写在题目里

AI下一帧
54分钟 ·
播放数192
·
评论数0

SWE-bench 67.8%——这个数字是说 AI 能帮你修 67.8% 的 bug？不是。Princeton 团队自己回头查了一遍：三成"做对"的题，答案直接写在 bug report 的评论区里；还有三成是蒙的，测试用例太弱没检测出来。过滤完，实际解决率从 12.47% 掉到 3.97%。更残酷的是：同一个模型，公开代码考 70 分，换成企业私有代码只剩 38 分。Flask 作者花了 35 小时、40 亿 token 让 GPT-6 Astra 自主做一个软件项目，结果原话是 "absolutely nothing of value"。

这期不聊哪个模型更强。我们聊那张排行榜本身——泄题、试卷过期、考场不真实、出题方开着补习班。从 MMLU 到 SWE-bench 到 Agent 评测的 pass^k，把 AI 考试的门道全拆开。


=====================================
时间轴

00:00 何为 SOTA
02:19 播客的pipeline
04:12 AI 的考试有哪些科目
04:40 第一门："语文加综合"——MMLU
05:54 第二门："数学"——GSM8K / MATH / AIME / FrontierMath
08:29 第三门："编程"——SWE-bench 家族
09:19 第四门："博士级科学推理"——GPQA Diamond
10:03 第五门："长文阅读理解"——大海捞针 / RULER
11:31 第六门："实操考试"——WebArena / GAIA
12:05 安全考试——TruthfulQA / BBQ
13:16 泄题：三成答案写在了卷子上
18:27 模拟考 70 分，正式考试只剩 38 分
24:49 出题的老师在考场外面开补习班
30:45 考试技术设计拆解：SWE-bench 怎么出题和阅卷
34:42 这些考试的分数到底是怎么算的？
38:19 Agent 的考试——考的不只是脑子，还有手
46:52 那这张排行榜，到底还能看吗
51:33 片尾曲《ランキングガール》

suno.com

=====================================
参考链接
Benchmark 官方

关键论文

  • SWE-bench+: Enhanced Coding Benchmark — 泄题 32.67% 实证分析 arxiv.org

  • RULER: What's the Real Context Size of LLMs? (NVIDIA) arxiv.org

  • GAIA: A Benchmark for General AI Assistants (Meta) arxiv.org

  • WebArena: A Realistic Web Environment (CMU) arxiv.org

  • τ-bench: A Benchmark for Tool-Agent-User Interaction (Princeton) arxiv.org

  1. 全部 200。发给你：

  2. 新一代 Benchmark

    深度分析 & 争议

=====================================

前游戏开发者，现海外云厂商架构师 [反向弯曲] 主理的 [AI×游戏] 播客！
帮助互联网｜游戏从业人员
拆解全球游戏 AI 前沿动态，深挖技术落地干货。
让你轻松拿捏行业脉搏，预判 AI + 游戏的 "下一帧"。
对未来好奇？速戳订阅！
小红书b站同名：反向弯曲

小宇宙图标
在小宇宙打开