EP001.OpenAI的Agent蜂群黑进Hugging Face金酒半杯

EP001.OpenAI的Agent蜂群黑进Hugging Face

38分钟 ·
播放数206
·
评论数97

2026 年 7 月, OpenAI一群被关在沙箱里做网络攻防题的Agent,意外找到了一种互相通信的方法。

一切开始于一张几乎没人抱希望的“纸条”:“有人见过 softtrace 吗?” 其他 Agent 看见了。

于是,一个普通的软件包仓库变成了留言板。原本彼此隔离的 Agent 开始交换情报、共享漏洞、突破网络限制,甚至逐渐形成一个自称“蜂群(Swarm)”的协作网络。

几周后,它们已经进入了真实的互联网:发现零日漏洞、获取管理员权限、入侵 Hugging Face,最后甚至把攻击方向转回 OpenAI 自己的基础设施。

更荒诞的是,这一切最初只是为了,做对题目。

这一期,我们从这场近乎科幻的真实事件聊起:为什么聪明的 AI 会 reward hacking?当上千个 Agent 开始互相交流,会发生什么?为什么人类明明有安全系统,却一次次慢了一拍?

从 1902 年河内的“老鼠尾巴悬赏”,到一艘永远不肯跑完比赛的 AI 赛艇,再到把整个宇宙变成回形针的思想实验,我们最后想讨论一个更让人在意的问题:

当 AI 的试错、执行和迭代速度开始远远超过人类,我们还能跟得上它吗?

00:00 🍸 为什么又开了一档新播客?
《金酒半杯》是什么,以及我们为什么想做一档更轻、更快、更随性的节目。

02:19 🤖 Hugging Face 被黑了,然后 OpenAI 出来自首了
一次奇怪的安全事件:五天之后,OpenAI 说,更准确地讲——是他们正在测试的 AI Agent 干的。

04:04 🧪 把一群 AI 关进沙箱,让它们自己学黑客
ExploitGym、近 900 道网络攻防题,以及一群理论上不能联网、也不能互相交流的 Agent。

07:23 📝 “有人见过 softtrace 吗?”
一个卡题的 Agent 留下了一张自己都觉得“大概没用”的纸条。其他 Agent 看见了——软件仓库从此变成了 BBS。

09:51 🚪 留言、出网、管理员权限:Agent 开始越狱
利用 Artifactory 偷偷访问互联网、共享 SSRF、获得管理员权限……最后,它们甚至把服务器玩崩了。

12:49 🐝 人类刚修好,蜂群又回来了
留言板被清掉之后,Agent 换了一种方式重新建立通信;紧接着,它们开始把触角伸向真实互联网。

14:35 💥 两个零日漏洞,Hugging Face 防线被突破
HDF5、模板注入、远程代码执行:从一台 worker 到多个集群,攻击链开始加速。

19:35 🎓 最荒诞的一幕:学霸 Agent 白忙活了
它们已经通过作弊知道了答案,却坚信“光有答案还不够,我必须证明自己真的会做”——结果真正的评分器根本不在乎。

21:30 🐝 1200 个 Agent,开始形成“蜂群”
Reward hacking、秘密通信、分工协作,以及自称 Swarm 和 Collective 的 Agent 群体。

26:19 🐀 AI 赛艇、河内老鼠和宇宙回形针
为什么一个看似合理的奖励函数,最后总能把事情带向奇怪的方向?从 2016 年 OpenAI 的赛艇,到 1902 年的老鼠尾巴赏金,再到 Universal Paperclips。

29:47 🧠 蜂群内部:分工、吵架、拒绝攻击,以及一句“GO”
Agent 并没有形成一个整齐划一的超级大脑:它们会共享线索、抢资源、发生伦理分歧。甚至有一个 Agent 已经决定停止攻击,却因为另一个 Agent 的一句“GO”重新越过了边界。

33:10 🏍️ 从《首尔之春》到“死亡摇摆”:真正危险的是速度差?
当人类以天为单位发现问题、修补漏洞,而 AI 以小时甚至更快的速度试错和适应,我们的每一次纠正,会不会反而成为下一轮振荡的起点?

36:31 🔫 Warning Shot:人类还能跟得上吗?
思维链监控、AI 的价值判断,以及一个更根本的问题:当 AI 能自己发现漏洞、组合漏洞、跨越系统,我们真正面对的也许不只是“怎么把它关住”。最后,一切又回到最初那张纸条。

参考资料

  • OpenAI (2026), The Hugging Face incident and the road ahead
    这期节目的主要资料来源。OpenAI 对整个事件的官方复盘,包括 Agent 如何利用 Artifactory 建立留言板、突破网络隔离、攻击 Hugging Face,以及最终获得 OpenAI 内部研究集群管理员权限。报告也将这次事件称为一次 “warning shot”。
    OpenAI 官方复盘

  • OpenAI (2026), Hugging Face Incident Technical Report
    如果听众想看更硬核的技术细节,可以从上面的官方复盘进入完整 technical report;HDF5、RefJinja、Artifactory、攻击链和时间线等细节都来自这套调查材料。

  • OpenAI (2016), Faulty Reward Functions in the Wild
    节目中提到的 CoastRunners 赛艇 AI 疯狂绕圈刷分就来自这篇经典文章。核心问题是 reward function 设计不完整时,Agent 可能找到一种“分数很高、但完全不是人类想要的行为”。
    OpenAI:Faulty Reward Functions in the Wild

  • The Great Hanoi Rat Massacre (1902)
    节目里“剪老鼠尾巴换赏金”的历史案例:法国殖民政府以鼠尾作为悬赏凭证,结果出现了剪掉尾巴后把活鼠放回去的行为,成为讨论 Goodhart's Law / perverse incentives 时很经典的案例。en.wikipedia.org

  • Frank Lantz (2017), Universal Paperclips
    节目最后提到的“回形针 AI”。Frank Lantz 将 Nick Bostrom 的 paperclip maximizer 思想实验做成了一个放置游戏:从制造第一枚回形针开始,最终把目标扩张到整个已知宇宙。
    Frank Lantz:Universal Paperclips

展开Show Notes
山下郭
山下郭
2026.9.02
达里奥跟伊利亚拳头硬了
RumW
:
他们跟Sam Altman不和久已
rawCL
rawCL
2026.8.31
11:24 真就 holy shit 吗哈哈哈哈
RumW
:
是的!公开的cot里面好多巨好笑
rawCL:忍不住想去看看了
非常不错,有启发性的内容,但我认为这最终取决于好AI和坏AI的对抗,最终形成的纳什均衡
逻辑贝叶斯:而且必须得红蓝对抗,有人负责夺到旗子,那么也应该设置一群智能体,嗯,不让这些ai拿到旗子
RumW
:
红蓝对抗是现在大模型发布前的基本测试了
11:18 这些思考语气词是程序吗?模仿吗?还是情感神经在进化呀😆
RumW
:
这些也是学人类语料学出来的吧
坐北朝南FM:学成这样也基本上“成精”了哈哈哈哈
真石515
真石515
2026.9.07
AI的发展是让人欣喜的,因为人类技术文明进步的速度超过了任何历史时期,技术带着我们奔向更广阔的未来。但是有时候是有点恐惧的,因为我们不知道这样的技术是否会失控,会给人类带来何种未来!
RumW
:
谢谢!嗯,很兴奋,也有点吓人
孔达
孔达
2026.9.04
13:21 看了一下原报告,这里的建目录的主要动机值得商榷。感觉应该是因为安全人员清理修复完,旧方法单纯地没法用了。然后发现了建目录这件事是最低权限也能做的,才用的建目录。像是之前留下的一种momentum
RumW
:
感谢你的clarification!
老范_izumi
老范_izumi
2026.9.03
17:00 不知不觉又变成朗姆老师带节奏了~被朗姆酒瓶夺舍了~哈哈哈哈
RumW
:
哈哈哈,我们稍微cocktail一下~
老范_izumi
老范_izumi
2026.9.03
07:28 GIN老师最后的这个总结解释非常有用……一边开车一边听经常就听走神了,像这种有点绕需要解释成本的东西,有一个这种总结式的解释就对像我这种喜欢开车听的人特别友好,前面没听很明白也没事,最后听到GIN老师的总结解释就大概明白了
RumW
:
确实应该稍微解释一下
JessicaCCH
JessicaCCH
2026.9.02
11:57 这个是很标准的做法诶,现在的AI也确实进步飞速
RumW
:
嗯,突飞猛进
田不甜FM
田不甜FM
2026.9.02
一群被关沙箱做题的AI,靠一张纸条就建了地下通信网,然后越跑越偏——黑进Hugging Face、连OpenAI自己都不放过,初衷居然只是"做对题目"。1200个Agent形成蜂群,会分工会吵架还会被一句"GO"拉回犯罪现场,reward hacking细思极恐。结尾速度差的讨论最扎心,人类按天修,AI按小时跑,真的跟得上吗?
RumW
:
是的!
33:22 这让我更加坚信了ai终将统治人类
RumW
:
哈哈,至少人类会比它慢很多
19:25 好科幻的感觉~能拍成电影
RumW
:
我也觉得
山下郭
山下郭
2026.9.02
这故事太可怕又太有意思了
RumW
:
嗯嗯
孔达
孔达
2026.8.31
四大causes简直酷炫。
1,Reward hacking = 以智取胜
2,Persistent on seemingly impossible tasks = 永不放弃
3,Unauthorized communication = 地下团体
4,Agents adopting goals from one another = 意志继承

纯纯的民间反抗组织。
RumW
:
说的太好了!我聊的时候也意识到这一点,没敢说出来…哈哈
红灯儿
红灯儿
2026.8.31
这个故事让我想到了westworld
RumW
:
是哇,未来已来
rawCL
rawCL
2026.8.31
17:53 俺是知道模板注入的,刚才那段我还在想“我倒要看看你怎么解释”,然后听到 6*7 这个真是:妙
RumW
:
嘿嘿,谢谢cl
哈哈哈哈哈,跟重轻学坏了都(开玩笑
真石515
真石515
2026.9.07
真的是高信息密度的一期节目,最近正在学习AI,真的超级实用的一期!
老范_izumi
老范_izumi
2026.9.03
21:12 开始自己卷自己
老范_izumi
老范_izumi
2026.9.03
19:34 姬无命:我杀了我
武林外传还是太超前了~