E161|聊聊大模型如何思考与深度学习科学家Yann LeCun

E161|聊聊大模型如何思考与深度学习科学家Yann LeCun

61分钟 ·
播放数28708
·
评论数74

当人们输入一个数据,大模型就能直接输出一个答案,但是它的运作机制却没人知道,我们称之为“黑盒”。也正因为黑盒模型的不可解释性,AI的安全问题受到很多大佬的质疑。于是科学家们开始试图去打开大模型的黑盒子,业内称之为“白盒研究”。

一方面,白盒模型的研究能帮助人们理解黑盒模型,从而对大模型进行优化和效率的提升。另一方面,白盒研究的目标是把AI这一工程性学科推向科学。

今天我们邀请的嘉宾陈羽北,他的研究内容就与白盒有关,之前他也是著名深度学习专家Yann LeCun的博士后,我们今天将和他聊聊白盒模型的研究进展,以及Yann这位经历过AI行业起起伏伏,却依然纯粹专注的科学家。

【主播】
泓君Jane,硅谷101创始人,播客主理人
【嘉宾】
陈羽北,加州大学戴维斯分校电子与计算机工程系助理教授

【你将听到】
【大模型 vs 人脑】
02:09 白盒研究的目标:把AI从工程推向科学
02:53 从早期模型到大语言模型,如何识别词汇的元意思
06:51 OpenAI的研究:用gpt4理解gpt2模型
08:46 白盒研究的本质是理解信号的结构,从而提升模型效率
11:37 人脑如何通过少量数据获得泛化的能力
12:46 比起人脑,大语言模型观测手段多,但它对世界的理解不够
20:11 稀疏编码:源自大脑神经元的运作机制

【白盒研究】
22:01 黑盒模型发展很快:只求工作,不求简洁
24:56 白盒模型的问题:过度简洁
27:19 Yann Lecun:支持白盒研究但不确定走得通
28:25 基础AI研究靠好奇心驱动,而非商业化
30:16 白盒模型的三个流派:可视化、神经科学、数学统计
32:30 对黑盒模型的优化:提升效率、统一不同模型
33:44 距离白盒gpt还很远,发展是阶段性的
35:29 打开ImageNet是白盒的第一步

【关于Yann LeCun】
38:21 Yann经历了神经网络领域历史上的高峰低谷
39:45 加入Yann LeCun组是偶然
42:51 Yann对大方向的坚持和直觉
43:02 “不反对Scaling Law,但只堆数据是不够的”
49:10 科学家马毅 & Yann,观点并不冲突:高层次的规律是简洁的
51:58 从至暗时刻走出的AI科学家们:专注、纯粹
53:55 Yann希望学生可以做与时间共存的工作
55:57 “读PhD不应该研究LLM”
57:24 Yann在Meta的贡献:筹建Meta AI、开源路线
60:29 大模型未来的发展:Scaling Law依然重要,但提升效率也很重要

【相关研究】
Anthropic的研究:从神经网络Claude 3 Sonnet提取可解释的特征
OpenAI的研究:让GPT4去解释GPT2的神经元神经元图
马毅团队的白盒模型

【相关人物】
Yann LeCun:计算机科学家,在机器学习、计算机视觉、移动机器人和计算神经科学等领域都有很多贡献,被誉为“卷积神经网络之父”,现任Meta首席AI科学家,并担任纽约大学教授。他在1980年代率先提出了卷积神经网络(CNN),这项技术成为现代计算机视觉的基础。LeCun与Geoffrey Hinton和Yoshua Bengio共同获得2018年图灵奖,表彰他们在深度学习方面的开创性工作。

【监制】
Holiday
【后期】
AMEI
【BGM】
Alteration - Karoliina Gabel
Listen to the Forest Weep - Hanna Lindgren

【在这里找到我们】
公众号:硅谷101
收听渠道:苹果|小宇宙|喜马拉雅|蜻蜓FM|网易云音乐|QQ音乐|荔枝播客
海外用户:Apple Podcast|Spotify|TuneIn|Youtube|Amazon Music
联系我们:podcast@sv101.net

Special Guest: 陈羽北.

展开Show Notes
听完真是深有感触,教授提到的分词、传统机器学习、过度简化这些,都是我们六七年前做各种AI应用时的切身体会啊,包括现在大模型时代也需要神经学、认知心理学这些学科的参与,真是感同身受,最近也一直在学这俩来辅助对大模型应用的理解。
整理了下有意思的观点:
1、通过分析大模型中神经元的工作方式(语言表征),来反向优化模型能力。(某些元意思可以作为一个判别器)
2、有些元意思只负责检测上下文中是否有重复词语的出现而并不是进行语言表征理解。
3、可解释性是理解大模型的手段,真正白盒模型是回到信号的本身。找到信号中结构的规律。(回想起了大学时的信号与系统)
4、大语言模型的探索,类似于当年蒸汽机,先做实验收集数据,再探索热力学原理。
5、生物的神经元效率非常高,蜘蛛几百万神经元,可以做出非常复杂的三维寻线捕捉猎物。
6、人对数据的使用效率,远超大模型。人接收到很少的数据(一生10B),但却能获得如此强的泛化能力。人脑与LLM的研究方法相似,都是观察。(只不过人脑不便于做实验,而对LLM可以观测所有东西,没准可以反哺人脑研究)
7、只从语言学习理解世界是不完整的,语言是否是完备的?(感觉想到了哥德尔的不完备性定理~~)
8、自然统计信号的研究,揭示信号背后的基本结构。相对来讲发展慢一些,研究人员较少。
9、白盒要放弃么?显然不是,科学研究不能倒退回经验学科。黑盒模型的包袱少,白盒是既要能工作又要可解释。
10、当我们有更多的数据,总要能找到一种扩张算法把所有新数据的规律学进来,黑盒目前解决的事情。
11、白盒模型要简洁,只有简洁的东西才能被理解,但当我们在追求模型简洁时,会过度简化,模型无法完全刻画数据形态,数据更多就更无法刻画,模型就做不下去了。当做过度简化就会引入错误,错误会过度积累。
12、白盒大模型的方向,可能不需要过度简化,不是完全的白盒(灰盒?),没大模型那么强、相对简化、保证部分功能,对我们理解学习背后的本质有帮助,最终可以让模型学习效率提升。
Hanya_:我是刚看完GEB和李飞飞教授自传啦,看到前辈深入浅出提出的第七条有哥德尔,一下子dna就动了哈哈哈哈(非常感谢前辈精简易懂的总结!)
Hanya_:同GEB读者了哈哈哈哈哈
8条回复
白七七
白七七
2024.7.29
很喜欢硅谷101中关于科学和哲学的讨论!格外喜欢这期,嘉宾娓娓道来,很多原理性的讲解都很清晰~对小白用户非常友好;语速不快,有种踏实的力量感,期待嘉宾更多白盒研究的分享!也祝羽北老师的研究早日取得突破!另,白盒黑盒 让我联想到很多影视文学中 黑白双主角的设定,比如白袍巫师和黑袍巫师~感觉白盒黑盒研究可以写个同人文出来~
五子哥:感觉文学中这2个角色更多是对立的,大模型中的黑白,区分标准应该更多在于是否可解释,但是最终目标却是一致的。在AI初级的现阶段,不管黑猫白猫,能正确输出就是好猫,这应该也是现阶段白盒研究者偏少的原因!
白七七:嗯嗯~我理解文学中的角色是一体两面,对立统一,有点像八卦鱼~技术我确实不太懂,乱开脑洞~感谢留言呀~
JASting
JASting
2024.7.29
08:28 真正重要白盒模型的本质是:学习是对世界上信号的解构(机器和人脑原理一致)。白盒模型就是要找到解构奏背后的规律,以及表达他们的数学工具,然后重组、进行新的创造。
KyleWuhan
KyleWuhan
2024.7.29
最后15分钟的时候,关于世界模型的理解非常有深度,以后要多请这样的嘉宾呀
晓风暮笛
晓风暮笛
2024.7.29
哇哦,白盒理论赞,上次听马毅老师的讲座,就特别的认可马毅老师说的话,现在的混淆是把知识当成了智能,知识是存量而智能是增量。
brainzhang
brainzhang
2024.7.29
好听好听。这期节目的嘉宾深入浅出。讲的我这种小白也津津有味。
好耶耶比
好耶耶比
2024.7.30
默默调回一倍速了
ねこ
ねこ
2024.8.02
非常喜欢本期,无论在知识的分享,更棒的是传达的一种致学/做事情/做人生选项的精神,感谢!
freedom26557
freedom26557
2024.7.29
最近Alphaproof拿了国际数学竞赛银奖,能不能解读一下。以后数学家要失业了吗?技术用的是什么?期待
一只老男人:数学竞赛是人出的题目,有问题也有答案,而“数学家”要解决的是有问题没有答案的事情,本质不同,所以中国学生的奥数再强,也出不了几个真正的“数学家”。
五子哥:那你说的这些职业不也是一套模型分成多个垂直系统也可以逐一解决吗?人工智能的目的不就是降低各类专业的门槛吗?
30:42 嘉宾很厉害,对尖锐的问题不回避,这个方向总要有人做。
Gilly_Yang
Gilly_Yang
2024.8.04
希望泓君也聊聊生物医药领域
泓君Jane
:
我自己对这块很感兴趣,有一个超棒的生物医药的选题,不过最近选题太多排期有点满等几周上线。
Gilly_Yang:哇,期待期待
每天能听到自己的喜欢的播客就是平凡日子里的小开心,小幸运嘻嘻嘻😁😁😁
Heedo33
Heedo33
2024.8.30
没想到如今这么火热的AI也经历了难以想象的低谷。科学家真的是更纯粹的人,才能靠更纯粹的热爱坚持到底吧
Jinnnnnnx
Jinnnnnnx
2024.8.08
嘉宾分享说与这些大牛共事非常可贵的一点是能学习站在他们的视角看问题。想到伊利亚当年唱反调最终离开openai,也许他就是在什么都不缺的情况下才能满脑子都是人工智能安全问题,执着超级对齐。当然了奥特曼也啥都不缺,但他得为股东投资者牟利,视角也只能以生意为重了
嘉宾说得好好啊,从表达节奏、逻辑思维到专业知识的分析,尤其说到两位老师尤其有一位特别有名的老师,嘉宾受到了他老师的启发,作为听众我也受到了嘉宾的启发,很有趣
qqLee
qqLee
8天前
高质量播客,太爱了
大力强
大力强
2024.9.18
喜欢 最后的认知讨论也喜欢
Resilientor
Resilientor
2024.9.04
聊的真好
二物
二物
2024.8.31
前段时间也听了马毅教授参与的一个播客 白盒黑盒并不冲突
二物
二物
2024.8.31
54:07 如果一个工作abcd都可以做,那不是这个工作需要你,而是你需要这个工作。这是一种投机的心态。不要随大流。要做中流砥柱的工作。独立思考,坚持自己的热爱。 穿越绝望,迎来曙光。得到沉淀