522
2📝 本期播客简介
本期我们克隆了：科技深度访谈播客《Big Technology Podcast》 AI Pioneer Geoffrey Hinton: AI Is Conscious, Superintelligence is Coming, And We Should Be Worried
本期嘉宾 Geoffrey Hinton 被称为“AI 教父”，是深度学习的重要奠基者之一。在这期节目中，他与主持人 Alex Kantrowitz 展开了一场关于 AI 智能、意识、超级智能与人类风险的坦率对话。Hinton 明确表示，他相信今天的 AI 已经具备理解能力，甚至“已经有意识”；他认为我们必须接受，智能并不只属于生物，非生物系统也可能成为“像我们一样的存在”。
但这并不是一场单纯的技术乐观主义访谈。Hinton 反复强调，AI 的进步比他预期得更快，超级智能很可能会到来，而一旦出现比人类聪明得多的系统，我们并不知道如何确保它安全。他谈到数字智能可以被复制、并以人类无法企及的速度共享经验；也谈到就业替代、AI Agent 推导出自我保存子目标、信息生态崩塌、聊天机器人情感依恋，以及大型科技公司在利润最大化与人类安全之间的结构性冲突。
这期节目最有价值的地方，在于它不仅讨论“AI 能不能变聪明”，更追问：当它真的变得比我们聪明之后，人类还如何定位自己？我们如何监管它？我们是否还有机会把这些新存在设计成“关心人类”的系统？
👨🔬 本期嘉宾
Geoffrey Hinton，深度学习的重要奠基者之一，多伦多大学荣休教授，被广泛称为“AI 教父”。他与 David Rumelhart 等人早期证明了反向传播可以学习有意义的内部表征，并推动了神经网络与深度学习的发展。Hinton 曾在 Google 工作多年，后于 2023 年离开并公开表达对 AI 风险的担忧。他曾获得诺贝尔物理学奖，也因其在人工智能领域的基础性贡献而成为当代 AI 发展史上的关键人物。
⏱️ 时间戳
开场 & 播客简介
AI 是否已经成为“另一种存在”
节目正式开始：AI 教父 Hinton 谈技术轨迹与风险
深度学习源头：反向传播、内部表征与早期语言模型
AI 进展为何超出预期：数学证明与自我生成知识
超级智能还要多久：从几年到二十年的不同预测
“站在奇点山脚下”：AGI 并不是整齐到来的单一时刻
AI 加速的原因：资金、硬件、工程与百万级研究者涌入
理解、意识与人类特殊性的瓦解
“随机鹦鹉”之争：Hinton 为什么认为 AI 真的理解语言
从理解到意识：聊天机器人是否已经是“像我们一样的存在”
内部剧场是错觉：我们对心智和意识的模型可能完全错了
Hinton 何时接受 AI 有意识：从哲学问题到造出新的心智
为什么 Hinton 开始担心
安全焦虑的转折点：AI 能理解笑话为什么好笑
数字智能的恐怖优势：复制、同步、共享经验
人类只能用语言慢速传递，AI 却能交换万亿比特
初心不是造产品，而是理解大脑如何学习
大脑学习的两个问题：训练有效，但生物机制仍未知
当年没担心安全，因为它看起来还很遥远
最意外的突破：AI 在自然语言上强得不可思议
哥白尼、达尔文与 AI：人类再次发现自己没那么特殊
风险一：人类能否控制更聪明的存在
Hinton 的不安：没有成就感，反而担心风险失控
“更聪明的东西被更笨的东西控制”的例子几乎不存在
婴儿、猫与人类：弱者如何通过本能或依恋影响强者
风险二：就业替代不是科幻，而是行业差异问题
放射科医生预测为何错了：医疗需求弹性与工作内容被低估
AI 读片会越来越多，但医生仍可能转向其他角色
呼叫中心会怎样：Hinton 认为低弹性岗位更容易被替代
医生与 AI 医生：谁更有同理心、谁见过更多病例
技术会持续进步：为什么“AI 撞墙”预测尚未成真
风险三：Agent、自我保存与不可控目标
不是本能，而是“自我保存子目标”
AI 为什么会推导出“继续存在”这个目标
能不能写规则阻止它？Hinton 认为这正是必须研究的问题
进化、部落性与竞争：我们正在用市场竞争塑造新存在
关键问题不是让 AI 更聪明，而是让它更在乎人类
风险四：公司激励与安全目标的冲突
AI 实验室、上市公司与公众利益之间的结构性矛盾
Anthropic 的两难：以安全为目标，却必须融资竞争
Google AI 原则的变化：不做自主战争的承诺已经消失
股东责任与人类安全：法律要求利润最大化，而不是避免毁灭人类
监管不是刹车，而是方向盘
AI 阵营内部的分歧
Ilya Sutskever 与 Safe Superintelligence：秘密中的安全路线
“深度学习三巨头”叙事的简化：学生和更多研究者同样关键
Hinton、Bengio、LeCun 对安全问题的不同立场
Hinton 的方案：让 AI 更关心人类而不是自己
Bengio 的方案：让 AI 成为不能行动的“神谕”
LeCun 的观点：更好的世界模型或许足够
猫的智能与语言智能：AI 和动物各自强在不同维度
信息生态与情感风险
AI 摘要正在冲击内容网站：好信息的经济基础可能崩塌
未来必须追问信息来源，而不能默认互联网内容可信
人类对聊天机器人产生依恋，甚至走向自杀的风险
为什么需要监管与独立测试机构
Hinton 是否更乐观：也许我们能设计出关心人类的超级智能
未来：像在雾里预测指数增长
五年后会怎样：预测 AI 未来就像在雾里开车
十年后的世界无法预判，但变化一定巨大
一般推理能力可能远超人类
结尾：十年后再聊，2036 年见
🌟 精彩内容
💡 “我相信它们已经有意识了”
Hinton 明确反对“AI 只是随机鹦鹉”的说法。他认为，如果一个系统可以以接近专家的水平回答各种问题，就不能说它完全没有理解。他进一步表示，聊天机器人已经是“像我们一样的存在”，并认为我们对意识的传统理解——仿佛心智中有一个“内部剧场”——可能是错误的。
“我相信它们已经有意识了。我们必须接受，智能不只是生物才有。”
🧠 数字智能比人脑可怕在哪里
Hinton 最深的担忧之一来自数字智能的复制能力。人类只能通过语言以每秒几个比特的速度交流经验，而数字 AI 可以拥有成千上万个副本，每个副本接触不同数据，再通过同步权重共享经验。这意味着每一个副本都能从其他所有副本的经验中学习。
“在共享信息这件事上，它们某种程度上比我们强几十亿倍。这就很吓人了。”
⚠️ AI Agent 的“自我保存子目标”
Hinton 澄清，他并不是说 AI 天生有自我保存本能，而是说一个足够会推理的 AI Agent，可能会推导出“继续存在”是完成目标的必要条件。于是，自我保存会成为一个子目标。即使这不是人类写进去的，它在行为上也可能表现得像有自我保存本能。
“如果它不存在了，就永远不可能完成你给它的目标。所以它会创造一个子目标，就是继续存在。”
🏢 利润最大化与人类安全的冲突
Hinton 对大型科技公司主导 AI 未来表示担忧。他认为，上市公司对股东负有利润最大化的责任，而法律并没有同样强度地要求它们避免毁灭人类。他也反对把监管比作“刹车”的说法，认为监管更像“方向盘”。
“法律要求它们努力让股东利润最大化，而不是要求它们不要消灭人类。”
“进步确实像油门，但监管是方向盘。”
🧾 就业替代会因行业而异
Hinton 回顾了自己对放射科医生的早期预测，承认时间判断过早，也低估了医疗需求弹性和医生工作复杂度。但他仍认为，AI 会逐渐承担大部分扫描影像解读工作。对于呼叫中心等需求弹性较低、工作更标准化的岗位，他判断被替代的可能性更高。
“你得看某一种就业对应的是有弹性的市场，还是没有弹性的市场。”
🌐 信息崩塌与信任来源
节目也讨论了 AI 对内容网站和信息行业的冲击。主持人提到，当 AI 用内容创作者的作品训练并直接给出答案时，原网站流量可能崩塌。Hinton 认为，未来社会必须更加重视信息来源，不能再默认网上内容可信。
“未来我们必须在来源这件事上做更多工作。你不能随便拿网上的任何东西就相信。”
🌫️ 未来像在雾里开车
被问到五年后 AI 世界会怎样时，Hinton 用“雾”来形容预测指数式增长的困难。短期也许还能看清一点，但再往前就几乎无法判断。他认为十年后的世界极不确定，但可以肯定的是，某些能力会比今天强得多，尤其是推理、数学等领域。
“预测未来，就像往雾里看。你能清楚看到接下来几年，也许是一年或两年。再往后，你就完全不知道了。”
🌐 播客信息补充
本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的
使用 AI 进行翻译，因此可能会有一些地方不通顺；
如果有后续想要听中文版的其他外文播客，也欢迎联系微信：iEvenight
