翻电Special 机器时代之心，人与chatGPT的终极对比 VOL.112

翻转台电（翻电）

102分钟 ·3年前

16532

206

chatGPT问题持续火暴！衍生出大量讨论，并突然让AICG行业爆火，但chatGPT到底能做到什么？在自然语言处理领域，它的能力是无限增长的吗？我们是否在见证人造智慧的崛起？我们这次深入chatGPT的运作原理，了解它与人的差异。

内容包括：

11:30 chatGPT到底是什么？纯能指接下岔程序

29:58 从语词到数字，chatGPT如何编织能指

01:08:28 long-tailness of every important things

01:30:52 到底谁会被替代？社会的塔勒布化

希望今天的内容能够对你有所启发。

[ 欢迎在Patreon和爱发电支持翻转电台 ]

如果你过去有在Patreon支持其他项目的经验，优先推荐使用Patreon，因为其有按月订阅的制度：

www.patreon.com

如果你从来没有在Patreon支持其他项目的经验，可以在爱发电： afdian.net

感谢大家对翻转电台的支持。大家要记得敢于去相信。并敢于分享你的相信。

展开Show Notes

pekingcat

2023.2.11

置顶

补充一句关于词汇分布的generality问题，针对每一个词汇，横轴是词汇分布远近，左边是最近，右边是最远，纵轴是词汇数量。那么最终呈现是正态分布的，最近的大概是is was do don’t 这些词，最远是语料中最少出现的。在这个正态分布中，根据attention和算法机制，机器最容易接下岔的是正态分布峰值的词汇，左侧是被attention机制排除的，右侧是被函数排除的。对于一个词如此，多个词语的分布关系就更是如此，但重要的“long-tailness”都分布在最右侧，就是看似长尾，其实肥尾的部分

ptdy:这个说法有点事实错误吧。首先是你要定义分布就要定义距离。词频分布的话，首先是遵循的不是正态分布而是zipf law。其次注意力机制恰恰就是用来避免算法只产生分布的峰值词的。不同于输入法联想或者早期的统计翻译模型采用马尔可夫假设，LLM的注意力就是用的全局信息去重新给每个词计算weight。如果是马尔可夫假设的话，这些“语境”信息就被忽视了。

ptdy:再补充一点关于关于理解的多样性和可能性的问题。我对这个事情的理解是，这个过程是确定性的，机械的，没有任何神秘因素的，但是它是incomputable的，就和停机问题一样，否则其他情况下一定可以被hack掉。RNN作为模型最有趣的地方就在于这种递归导致的不可计算，从这个意义上来说，其可能性也是无限的。但是这不妨碍我们可以对这种模型做近似，对工具只要大体可用就行

共23条回复

一只老男人

2023.2.11

我斗胆预言一下：未来的互联网将因为充斥着由ai制造的文字和图像垃圾，而变得越来越没有价值

pekingcat

:我觉得比起涌入互联网，可能更多是涌入现实生活。互联网现在垃圾信息够多了，但这些信息从搜索引擎或算法上涌现出来的还是少，而且对于使用者，这总是和你的使用习惯相关的。但更多可能是现实生活中，你收到的其他人的文本，说不定就是chatGPT生成或者洗的了

Haoo_FMM9:现在其实已经有很多了

共3条回复

ptdy

2023.2.15

不能完全同意这一期的观点。

我们当然可以说chatgpt只是掌握了能指的空间关系，但是这不构成chatgpt没有什么“理解语境”，“举例子”的能力的理由。我的意思不是说现在chatgpt在举例子、理解语境这些任务上做的多好，而是说，在现在的设定下这根本不是一个合理的需求。为什么这么说呢？因为一个不对现实世界产生物理影响的LLM根本就不可能产生”所指“，其本来就是运行在能指空间里。

反过来说，如果此类LLM能直接作用于现实世界，那所指也根本不需要他来理解，他就是会自动产生，其动作的效应和其文本的关系自动构成能指所指关系。所谓的语境理解能力差，也是因为模型目前根本没有和对话者处于一个语境里，这个人绝对不会理解。这正如语言是一个游戏，不是玩家的当然无法掌握游戏，而反过来说，只要亲自下场，任何实体都可以变成玩家。

翻转电台喜欢举例子，那么我们就举一点例子。就改造苹果的例子好了。如果我对一个刚刚从1950年穿越过来的人说，我们去搞点苹果吧，这个人不可能以为我要去买个iPhone或者Mac，哪怕我就是在去apple store的路上和他说这个话。这能说明这个1950年的人不能理解语境吗？不能。因为他之前根本没有和我一起浸泡在同一个现实里，而是被半路扔进来的。

那这说明什么？这只能说明基于语料库的训练方式无法覆盖各种subtle的语境。存在两个途径解决这个问题：一是用更加细致的domain specific 的语料库，这是一条没有止境的路；二是直接让chatgpt成为embodied agent，参与到我们的现实世界中，这样其自身就成为了语境的一部分。不难想象，后者甚至会改变我们的能指，让新的语言成为人和机器共同适应的结果。

ptdy:我想你可能误解了我的意思。“能指拼接”这个词，实际上我说的大白话一点就是“操纵符号的排列”。从这个意义上说，只要说话的那个主体没有对现实施加影响的能力，其处于“能指拼接”状态的风险永远存在。反过来则这个风险直接消失。打个比方，假设有个内置了chatgpt但我们无法修改其代码同时却又在我们生活中无处不在的机器人大规模售卖，这些机器人把苹果叫“平果”，最后这个现象只会拓展我们对“平果这个词的定义。这个事情在人使用词语的历史中不断发生，比如“空穴来风”的意思就发生了翻转，从有根据变成了完全没根据。只不过这时候我们不说是人在操弄能指，而是说能指所指关系是松散的。

HD580743s:你一定没听过维特根斯坦的那几期节目。

共39条回复

nowlistenwat

2023.2.11

1:17:54 咳咳暗示得太明显了…小李老师

Dk_eqQb:哈哈哈哈

维夏拾壹:哈哈哈哈哈哈哈

共3条回复

nowlistenwat

2023.2.11

1:39:51
是不是最好一期，唔，出于鼓励主播，那么当然是！哈哈哈。
但你这节目也是整体的而非单点的，就像前面举的阅读长篇小说例子那样：读得越多，越能形成更充分的思考素材。贵电台也是这样的

laag

2023.2.13

中李老师的分析似乎是在假设ChatGPT是纯能指程序的基础上去解释ChatGPT的failure cases，但没有实质性的证据去证明ChatGPT的确是纯能指。当然说实话这样的证据即使有我目前也还想不到会长什么样，毕竟对我们来说神经网络以及Transformer还是一个大黑箱（节目里说attention机制之后才是黑箱，但我作为计算机视觉领域的博士生认为我们对attention也远远达不到理解，节目里对其的解释应该也不准确甚至not even wrong，不过这可能不那么重要），同时人类对自然语言的误解更是一种常态（只是错误方式可能有很大不同）。所以我也没有什么定论，只是考虑到transformer在视觉领域也具有极强的泛化性能，在我想象中它也许是能够在大量学习中涌现出一些对世界中真实概念的理解的。

pekingcat

:纯能指不就是指不像其他任何结构化的知识图谱或类似ai，在把能指Tokenize后不赋予任何其他输入，而且训练任务是能指匹配，就是预测下一个词，不管是输入还是输出任务，都是纯能指的。

pekingcat

:训练时没有分类没有标注，没有分行业分任务，就是预测下一个词的出现

共14条回复

Yelic

2023.2.13

12:05 中李老师输入"白日"后面出现的居然不是"焰火"😁

Thanatoskaras

2023.2.13

特德·姜：ChatGPT是网上所有文本的模糊图像
https://m.thepaper.cn/newsDetail_forward_21877769

Thanatoskaras:行业报告，会议纪要看起来就是一种有损压缩，真到具体事务和决策就不行了

极客天地

2023.2.15

1:07:17 学好英语几乎是底层民众为数不多的翻身机会，别tm大笨蛋都被带了节奏，最先进的技术都是英文文本撰写的

HD607256z

2023.2.12

很不错的分析，补充几点：
1. OpenAI并没有宣称chatGPT是通用人工智能，很明确它的定位就是chat bot，你指出的问题研发人员也是了然于胸的。
2. 关于长尾问题，其实这方面也是有一些探索的，比如meta的toolformer，就是训练AI做细分工作。
3. 小李老师的提出的几个点无法说明通用人工智能不可能，因为人也有可能就是一个超复杂接下茬机器，i.e., 自由意志不存在。如果未来的AI引入视觉、听觉感觉数据，他就有可能更好地理解context，毕竟所有context都可以被编码成数据。这是难以想象的运算，及其恐怖的训练时间，不过转念一想，人类也要训练十几年才能达到「基本可用」的状态。PS. 个人并不相信强人工智能可能。
4. 人工智能聊得更深肯定是要涉及宗教话题的，只不过国内环境不允许，不展开了。

HD617622o

2023.2.16

31:00 token

HD617622o:tokenize

HD617622o:attention

共5条回复

HD617622o

2023.2.16

16:00 能指意指

HD617622o:人类能指的搭配规律

谛听无言

2023.2.12

AI只有到了创造阶段，那就是危险了

pekingcat

:为啥危险？现在图片、音乐、文本、围棋，都有一定创造性

谛听无言:就是所谓的机器会思考了

uminh

2023.4.20

蛮有意思的，小李老师的模式和ChatGPT给我的感觉是类似的。用毋庸置疑的语气使用大量的专业术语完成了一个逻辑闭环。在小李老师的语境下，自己解释自己是通的。这个逻辑链断裂的可能性出现在技术问题上的所有细究。在努力权衡小李老师的内容和我在权衡GPT的内容一样难，比如原文出处的缺失还有像特德·姜说的解压缩方式，这样很难说服我GPT不像人这一点。

HD595208y

2023.3.20

52:26 完了我听完也觉得是在表达开心……

雷蒙德

2023.2.17

1:02:26 如果说语言词汇越多人越容易理解，而ai程序更不容易理解，有没有可能是这个，如果用一种类比的话是，就像是一个小朋友，他还没有学会能够解读那么多的词汇和语言，当程序越来越发展，嗯，用技术的方法说，也许是它的内存越来越大，算力越来越强，之后它就会对越来越长的语句有更好的理解了呢

pekingcat

:这个还是节目开始说的算力暴力假设嘛

雷蒙德:可以这么说，但我确实没有理解为什么暴力假设是一个无效的假设。节目里提到的各种人类可以做到的事情，我觉得都包含着一个学习的过程。就是小孩子可能做不到，嗯，教育程度不高的人可能做不到，而受过相应教育的人才可以做到。也包含着对智商的要求，智商低的人做不到，智商高的人才有可能做到。达成相同的效果肯定可以采取不同的路径，人类的细胞/神经元也是一种硬件。用晶体管去模拟这些硬件，理论上并无不可呀。