EP23 何为理解 · Thoughts

本期节目是对 Geoffrey Hinton 理论的复述，目标是说明：AI 和人类心智之间没有鸿沟。

本期主播：重轻

相关链接：

Geoffrey Hinton

演讲 What Is Understanding? (IASEAI 2025)

AI 觉察到自己正在被测试
Anthropic’s Claude 3 causes stir by seeming to realize when it was being tested

AI 威胁工作人员以避免被关停
AI system resorts to blackmail if told it will be removed

乔姆斯基 Noam Chomsky

普遍语法 Universal Grammar

刺激贫乏理论 Poverty of the Stimulus

通过反向传播误差学习表征

Learning Representations by Back-Propagating Errors

注意力机制 Attention (machine learning)

学习概念的分布式表征

Learning Distributed Representations of Concepts

ChatGPT 在做什么，它又为何奏效？

What Is ChatGPT Doing … and Why Does It Work?

John Dean 记忆案例

John Dean’s Memory: A Case Study

N-Gram 语言模型

Word n-gram Language Model

印刷英语的预测与熵

Prediction and Entropy of Printed English

知识蒸馏 Knowledge Distillation

封面由重轻拍摄

本期节目逐字稿在 shishufeng.com

诗梳风由汉洋和重轻主持，如需联系请致信 hy@funes.world

00:00:07 介绍 Hinton 演讲《何为理解》的背景

00:01:41 本期节目目的：展开复述这场演讲

00:03:24 论证 AI 风险需证明 AI 的能力与动机

00:09:20 多少证据才算"真正理解"

00:11:55 AI 两大派别：逻辑派与连接派

00:13:39 连接派：智能的本质是学习

00:17:03 乔姆斯基的"刺激贫乏"理论

00:19:59 Hinton 批判乔姆斯基缺乏含义模型

00:23:09 猫狗性别的联想揭示底层特征向量

00:26:39 1985年家谱模型：大语言模型的祖宗

00:31:06 用乐高积木类比何为"理解"

00:35:33 "机器放不进行李箱"的例子

00:41:30 大语言模型不等于自动补全

00:44:29 “幻觉"应正名为"虚构”

00:50:14 理解即建模，学习需异物