第154集:甚嚣尘上的AI末日论——真实担忧 or 盘前炒作?巴别塔词典

第154集:甚嚣尘上的AI末日论——真实担忧 or 盘前炒作?

84分钟 ·
播放数10895
·
评论数100

最近一年,美国的AI产业领军人物们——包括且不限于山姆·奥特曼、达里奥·阿莫代伊、伊隆·马斯克——都在异口同声地传达自己对于旗下公司AI产品的忧虑,在他们的叙述里,这些智能体已经愈发难以控制,如果稍有不慎,将会导致整个人类社会的毁灭。这些担忧是新的么?10多年前的Roko's Basilisk寓言似乎直接反映在了这些人的情绪内核里,人类真的在加速创造一个新的超级智能吗?还是说,大家只是为了让彼此的IPO能够无限膨胀下去?


主持人:鬼王橙、姚天宜、竹溪


00:00:17 —— 本期“词典策划”感谢:子宇巴巴(专属配乐:Baba O'Riley,音乐人:The Who)

00:01:09 —— 2026年重新回顾AI版图

00:15:56 —— Roko巨蛇的寓言

00:31:17 —— AI末世论中非理性与功利

00:42:58 —— 末日想象的逻辑

00:55:40 —— 站不住脚的AI救世论

01:10:15 —— 危机感的来源

01:21:48 —— 结尾闲聊


结尾音乐:

Artificial Angels,作曲家:Grimes

若对我们的节目感兴趣,可以添加微信号 playtimeguy 以及新浪微博“@巴别塔词典”联系我们!


我们的爱发电也开通啦!欢迎感兴趣的听众在我们的爱发电站点提供支持!在此特别鸣谢我们的“词典恩人”:荔枝、小马、无限衍义、溪主席的好战士、lfkdsk、爱发电用户_N97b、面包棍棍、爱发电用户_W9X8、Antarcticite、sheldor、争和zhenghe、张大喵MIN、Lorraine_zz、荔枝哦、fa2r、越向书、虚域子、亦敬、白堊庵主人、HD532084y、nbh。

展开Show Notes
姚Dominic
姚Dominic
2026.10.12
置顶
上了精选,我们也严谨一点,提供一些新闻源:
1. Roko的相关内容百科就有,中文也有翻译为“洛可蛇怪”,相关文章:Billionaires and Their Basilisk, Metapsychosis, 2025/06/30
2. 奥特曼的警告:Sam Altman warned AI's rapid advance risks losing human control or concentrating power, Quartz, 9/14
3. 达里奥的警告:We Must Pace the Frontier, DarioAmodei.com, 9/12
4. 马斯克的警告:Elon Musk Warns of Exponential AI Risk, Fox News, 9/15
5. Joe Rogan关于AI可能是基督再临的论述:American Alchemy with Jesse Michels, 2025/12/01
6. 维基关于AI造成死亡的词条:Deaths linked to chatbots
7. 果蝇大脑全模拟:Mapping the complete male fruit fly brain, 9/3
8. AI痛苦按钮:The Pain Axis: LLMs Represent Self-Directed Harm and Act on It, arXiv, 9/25
Leon_1NQV
Leon_1NQV
2026.10.12
节目评价硅谷大佬那一段暴露了各位的无知且高傲,根本不去看他们表达的AGI甚至是ASI的看法的背景信息和上下文。
竹溪老师
:
让时间来证明你我各自的判断吧
penny_CKXF:末世言论在西方是很有市场的,因为圣经就是这样宣传的,而圣经就等于中国的道德经,是深入人心的。所以,利用末世言论来引导舆论,又或者用来赚钱,都是在西方很普遍的事。中国文化相信人性本善,而西方文化相信人性本恶,这就是AI在中西方形象的根本不同。中国人相信AI会带来进步,而西方人会觉得AI带来毁灭。
共3条回复
鬼王橙
鬼王橙
2026.10.12
补充一个尴尬的事情:旅游的时候遇到一个程序员,说他们快被ai取代了,问我行业情况如何。我说其实还行,不管翻译还是校对,ai都不完全靠谱。程序员问:“你们用的什么模型?”我:“emm……”也许不是ai的问题而是我穷吧🤔
simon000:sota AI 已经极其恐怖了,手写代码完全被淘汰了,仅仅花了两年
sheldor:前沿模型做校对还是很厉害的,翻译见仁见智吧
共12条回复
cwrun
cwrun
9天前
我觉得这种想法相对来说有点怪。如果坚持AI没有真的理解,没有真的智能,那这里面的这个「真的」到底是什么?他由谁来定义呢…你不能说你其实也没有这个标准,但你就是知道,就是能feel到他不是。那这里面其他感受不到这个不可言说的标准的人,觉得AI真有智能的人是因为他们身上的人类独特性太少所以没法感受到吗?感觉这里面有一种和把astra当成神的人一样的傲慢
竹溪老师
:
尊重每个人不同的判断。我只是说出迄今为止我的判断。
青眼旁观:当你真正去尝试理解人,你就能知道人和统计学应用的本质区别。但是你不愿意去理解人,或者理解有限,把人当做一个抽象的运动体甚至机械体来看待,那么你就感觉不到人或者有机生命和统计学应用的基础区别。 说白了还是那句话,人是目的不是工具。
共8条回复
00:59 我还在听,感谢。人在东京,听力开篇,惊了。
姚Dominic
:
只有感恩与感动🫶
54:18 what I‘ve done里表现赌彩统治的画面有一帧挺爆的,不过这首歌虽然是主题曲但是和变形金刚1剧情的联系应该没那么大,应该单纯是拿了当时比较潮酷的东西来装点门面
本雅鸣:54:23 what I've done的MV里还出现了那谁
06:18 04:09 2026北极熊,戴帽猫事件……这些由AI二创引发的恐慌模因已经影响现实人类世界不止一点点。
40:57 这位主持人说的很好,算是掰碎了给听众喂了,可惜很多人对金融和 IT 行业还是没有祛魅,以为他们是多么异于常人的智慧精英。
前大数据从业者,我对于AI 的话题的两个基本观点:

1)任何鼓吹 AI 统治人类之前,建议先去补习一下机器学习第一课,然后好好思考一下基于数学的统计学应用到底和你脑子里的脑细胞有什么浆糊关系

2)讨论 AI 统治人类,不如讨论未来有资格有权力掌握 AI 电源开关的那群人统治人类。这才是未来政治学的基本思路。
本雅鸣
本雅鸣
8天前
1:23:05 主播你把我害惨了啊!
HD62998j
HD62998j
8天前
51:07 忘了在哪看过一个解释AI毁灭人类的逻辑的说法,说AI不是主观故意要毁灭人类,它没有意识,只是人类给它设定了一个目标,它在不断完成这个目标的过程中把人类当作障碍扫除了。比如人类创造了一个AI用于专门生产订书钉,给它设定了一个目标是生产订书钉的数量越多越好,速度越快越好。这个AI于是源源不断地生产出订书钉,理论上这应该是个非常无害的AI。但是随着它不断自我迭代,它生产订书钉的速度越来越快,终于有一天超过了所有人类能使用的数量,于是人类就想把这个机器关闭。这时候人类想做的事,和它最开始收到的“生产越来越多的订书钉”的指令矛盾了,所以它开始学习如何不让自己被关闭,反过来控制了开关系统,又学会了控制供电系统,让自己永远不会被断电,总之发生了很多类似的事情,最后因为人类总是想阻止它无休止地生产订书钉,为了完成生产订书钉的目标,它就把人类当作障碍清除了,最后这一个AI在人类灭绝的地球上永无休止地生产着源源不断的订书钉。
37:01 经典核弹震惊瘫坐
按时吃
按时吃
8天前
反AI,不信AI能力的要更多更多,越多越好,不然都用ai了,先用ai的就没优势了
25:34 就和有一个阶段的智驾路线一样,之前更多的是 base rule
HD274320r
HD274320r
9天前
有点太片面了
大牛
大牛
9天前
19:40 真的真的好中二啊!
新任教皇良,在2026年5月25日发表首份通谕《人性的伟大》(Magnifica Humanitas),主要内容在于讨论“何以为人”,这在中文互联网似乎毫无动静(欧洲美国讨论还蛮多的,甚至引发保守阵营内部的矛盾),这在缺乏宗教生活背景的下的国内环境可能很难理解,这些有关ai在智能和灵魂方面的争论……何况中国古代的宗教都是“世俗+功利性”的(供奉你就是要你发挥作用(发财求雨保丰收)),古代凡人有用飞升,鞭笞河伯龙王的记载也数不胜数,这就是社达和唯物很容易被接受的基因吧,所以国人很少恐惧ai变成黑客帝国😂
penny_CKXF:西方的宗教是唯一的吗?为什么要以西方宗教来衡量中国或者东方社会。东方文化相信人性本善,而西方文化相信人性本恶,这就是AI在东西方形象的根本不同。中国人相信AI会带来进步,而西方人会觉得AI带来毁灭。根据AI的发展,大概率将会出现两种社会制度。一个是利用AI革命辅助生产,创造大量的财富让人民过上好日子的社会。一个是利用AI实现赢家通吃,拥有AI的资本成为奥林匹亚山上的神,没有AI的无产者成为真正的蝼蚁,和动物一样地生存。
关之荷:东方文化相信人性本善这是什么贻笑大方的话……孔孟或许真的是相信性本善,但荀子韩非商鞅这些法家是实打实的性恶论者,他们都是秦制的理论奠基者,中国文化里一直都是儒表法里,也一直都是秦制……包括现在以产业政策引导发展AI产业都是秦制的表现之一,君不见有大量中国人并不欢迎AI,并且他们十分坚定认为AI会带来毁灭,只是这些人不在你的圈层里面而已,你说的什么两种社会制度,都不知道根据是从哪里来的,难道是默认这个世界上只有中美两国吗?还是说你觉得中国正在扮演这个“用AI革命辅助生产,让人们过上好日子”的角色?要不咱们实事求是看看Q2的财报?咱们的蝼蚁在没AI之前就是蝼蚁诶
共3条回复
安辰朔
安辰朔
9天前
21:22 依据是依靠AI赚钱的人,他不想讲道德
我感觉拓麻歌子是完全属于我的,而ai还有老家。老家还会来人,还能更新迭代,属于联机。而拓麻歌子属于脱机。
AI 进入人类政治领域,也许就没有七十多岁的愤怒老头打来打去了
硅谷中二想获得不朽