EP23 何为理解 · Thoughts诗梳风

EP23 何为理解 · Thoughts

57分钟 ·
播放数1898
·
评论数40

本期节目是对 Geoffrey Hinton 理论的复述,目标是说明:AI 和人类心智之间没有鸿沟。

本期主播:重轻

相关链接:

Geoffrey Hinton

演讲 What Is Understanding? (IASEAI 2025)

AI 觉察到自己正在被测试
Anthropic’s Claude 3 causes stir by seeming to realize when it was being tested

AI 威胁工作人员以避免被关停
AI system resorts to blackmail if told it will be removed

乔姆斯基 Noam Chomsky

普遍语法 Universal Grammar

刺激贫乏理论 Poverty of the Stimulus

通过反向传播误差学习表征

Learning Representations by Back-Propagating Errors

注意力机制 Attention (machine learning)

学习概念的分布式表征

Learning Distributed Representations of Concepts

ChatGPT 在做什么,它又为何奏效?

What Is ChatGPT Doing … and Why Does It Work?

John Dean 记忆案例

John Dean’s Memory: A Case Study

N-Gram 语言模型

Word n-gram Language Model

印刷英语的预测与熵

Prediction and Entropy of Printed English

知识蒸馏 Knowledge Distillation

封面由重轻拍摄

本期节目逐字稿在 shishufeng.com

诗梳风由汉洋和重轻主持,如需联系请致信 hy@funes.world

00:00:07 介绍 Hinton 演讲《何为理解》的背景

00:01:41 本期节目目的:展开复述这场演讲

00:03:24 论证 AI 风险需证明 AI 的能力与动机

00:09:20 多少证据才算"真正理解"

00:11:55 AI 两大派别:逻辑派与连接派

00:13:39 连接派:智能的本质是学习

00:17:03 乔姆斯基的"刺激贫乏"理论

00:19:59 Hinton 批判乔姆斯基缺乏含义模型

00:23:09 猫狗性别的联想揭示底层特征向量

00:26:39 1985年家谱模型:大语言模型的祖宗

00:31:06 用乐高积木类比何为"理解"

00:35:33 "机器放不进行李箱"的例子

00:41:30 大语言模型不等于自动补全

00:44:29 “幻觉"应正名为"虚构”

00:50:14 理解即建模,学习需异物

展开Show Notes
重轻是为数不多通才,聊到我自己的行业依旧能津津有味听下去的
有点像是原型的售后😉
我想说一个有点关系的粗浅感想:看好作品后,觉得又有活着的力量了;看坏内容后,总觉得精力被吸干/活着很轻浮很庸常/很虚无很没意思/没有目标重要性感受/没有期待好事情发生和做事动力,虽然看它很刺激/爽/省力/足量。当然,不是绝对二元无中间灰色地带,但其中差别体感非常明显。不假思索的、情绪刺激的、和你重要性感受无关的、碎片操控的内容,对人的身心和生活影响太大了,可能会让你完全没有可欲的生活愿景和行动力。一个能让你构建自己良好模型及构建模型的信息环境,才能让你理解更有价值的信息,开展良好生活。与其把自己关在有自己目标的可控的“信息监狱”中,也不要把自己关在失控的他人的监狱。这期节目间接给我很大激励力量和可欲的目标,打扫控制好脑中的模型环境,人不可能掌握所有完备信息和理解后才开始人生,只能在自己受限信息下的笃信笃行的动力中开始人生,从信息混乱的可能性的平行世界,走向纯净愿力和探索和行动。PS.吹哥的新游戏《沉星之序》Demo出了,真是佳作,也有杰作的潜质,完全是9年前重轻在《关于游戏的信仰》中讲的慷慨卓越游戏的理念实践,期待重轻以后节目。
这期会破圈的,也会被长期的传播的。
本年度最喜欢的一期播客,本来的第一名是可达老师大都会聊拉斐尔的节目。 重轻老师的这类节目总有种为我而做的感觉, 我每天闲着也会想这类问题,能想出心流的感觉,然后这类问题周围是不可能有人可以交流的, 幸运的是播客里就有个叫重轻的人会系统地讲给我听,还不都是陈词滥调,全都是我爱听的。
胖唐:請教可達那一期在哪裡?
Geelish:在 《山有虎》!https://www.xiaoyuzhoufm.com/episode/69e61eb40757173406216686
3条回复
Bryann孙彬
Bryann孙彬
19小时前
确实是值得封神的一期!在 AI 领域大家普遍关注实用技巧和赚钱思路的当下,可能好多人没有精力把好奇心放在它到底是黑猫还是白猫上,但历史会证明这种好奇心的价值。个人认为,这一期完全可以成为原型第 9 期。
我整理了很长一段时间的脑科学的资料,尤其是神经科学家拉马钱德兰的大量案例本身就非常有意思,一直没有形成一个完整的内容输出,感谢重轻老师,让我重燃兴趣,再好好归拢归拢🧠
柏_1EPb
柏_1EPb
1 天前
21:54 一听就是东北人造的字
庄明浩:hhhh
09:53 皮格马利翁
糖衣药片儿:48:50 这个似乎有点像,《刻意练习》里提到的“心理表征”?
常看碎片“短视频和短剧”的人,ta训练后的大模型形状是什么?随机沟壑?只能嵌入更多“短视频和短剧”形状?
Stone-Wang
Stone-Wang
1 天前
没能做成不在场的东西就在诗梳风还魂
饭团_krkQ
饭团_krkQ
1 天前
现在的AI发展真的很有意思,算法工程师也淡化了技术上的钻研,试图从语言哲学和认知科学里找AI应用的思路。在这一点上讲,专业性正在消失。我的理解下大模型从机制上还是在做自动补全。但这不是贬低大模型,而是自动补全在某种程度上是思维的核心特征,就是贝叶斯视角下的最优推断过程。概率论下的因果是无方向的。理解,预测与推理在数学机制上并没有什么不同,都是Posterior 的更新过程。在这个角度下,理解本身是一个统计过程,那么说LLM拥有理解能力我觉得没什么问题。只是我自己认为思维并不等价于理解,还包括了企图心和别的我还不知道的东西。LLM从机制上是react的,它并不想主动做什么东西。所以我觉得也没有必要太悲观。当然这只是这个时间点的我的一家之言
xiiZ
xiiZ
1 小时前
46:36 人就是一堆权重的参数。记忆不是存储备份而是基于权重参数的重构。人脑计算是一种节能的基于轻量化考量的造物
xiiZ
xiiZ
1 小时前
40:43 这里更像是意识和语言的关系。我是先有了一个念头如果我不和人沟通的话它就在脑海里是一团东西(不需要翻译不需要遣词用句),如果我要和别人交互就需要依附于一套成型的语言系统,但是我的意识在自己头脑里时是不是也需要依附于我的母语。念头的产生是原发的语言只是翻译器?还是念头只能依附于语言出现?这个过程有没有结论
不在场AI版
Hayashi1997
Hayashi1997
1 天前
本期播客给到夯
尾笙
尾笙
1 天前
早!
Ben42
Ben42
15小时前
38:43 关于理解的理解,meta了
这就是仙品。家人们。tight tight tight!
HD568890v
HD568890v
18小时前
所以好的传播者就是按对方最容易理解的方式阐述概念
德吉
德吉
19小时前
55:22 一听就会 一做就错