33: 人类本质是不精确的复读机：与李如一和重轻闲聊 ChatGPT

93分钟 ·1 年前

40384

349

「我依然觉得最大的分野在于 AI 能否开始判断不可量化的东西，产生偏见。所以只要『我是一个大型语言训练集合……』的意识还在就没戏。或者它需要开始意识到其实人类也是大型语言训练集合，只不过我们会犯错。And mistakes are beautiful. 」—— 李如一
「所有的词不达意都是在达某种意」——重轻

本期节目是一期不精确的节目，我们请来了《一天世界》的主播李如一和《不在场》的主理人重轻来一起聊聊以 ChatGPT 为代表的对话式 AI。不过与其说是聊 AI，不如说是在聊人类的语言与错误的美妙。注意，本期节目所有评价基于 2023.3.22 上午的信息。以及【语速快预警】。

本期节目我们聊到了：

如何评价 ChatGPT 以及什么是可以被评价的软件？

用 ChatGPT 学英语的问题在哪里？

很「平」的 ChatGPT 语言与人写文章的感觉

「所有的词不达意都是在达某种意」连着用很久 ChatGPT 的感觉

少数派在新技术前的权力与权利

政治正确无处不在对于 AI 是一种利好

读者和作者的关系，AI 什么时候能成为读者？

「力大砖飞」的 ChatGPT

给人类和 ChatGPT 「喂食数据库」都是在和时间作战

人类的所有信息都在网上了吗？我们是不是扔下车的东西太多了？

工作能分成「脏活累活」与「真正重要的」工作吗？

创造是有机的

如何看待 OpenAI 不再 Open 这件事？

人类的本质是复读机吗？太阳下面有新事吗？

本期节目我们提到了：

徐乐乐的啁啾
Stephen Wolfram: What Is ChatGPT Doing … and Why Does It Work?
Stephen Wolfram: Will AIs Take All Our Jobs and End Human History—or Not? Well, It’s Complicated…
李如一是看了 Sam Altman 这篇觉得写得差的
晚点聊《两个半故事》
ChatGPT 的挑战是网上没有足够多的信息 a.k.a. 互联网搁浅的地方
谷曙光︱文字魔魇：ChatGPT能制造赛博杜甫吗？
OpenAI
connectionism
Symbolic artificial intelligence
Jessica Livingston
Ilya Sutskever
戈登·柴尔德《人类创造了自身》
陈胜前《人之追问》
李如一的节目《一天世界》
重轻的节目《不在场》

登场人物：
李如一：《一天世界》《灭茶苦茶》《無次元》作者
重轻："You can't always get what you want."
汉洋：想醉明天的酒

小广告：汉洋新启动了一个 newsletter，欢迎点击订阅汉洋叭叭

剪辑：甜食

题图：重轻、汉洋春节在东北溜达时，在辽宁班吉塔镇餐厅里看到的纸条。是饭店老板孩子的作业。拍摄经过许可。拍虚了，但这就是人生。能看出来照片里都是谁的，可以留言，汉洋给您点赞！

BGM: Daisy Bell

展开Show Notes

2023.3.27

片头恍如隔世

2023.3.28

非常不同意这次的播客，感觉很多东西都没有做过调研就来说了
1. ai倾向于采用比较平的说法很大程度上是因为做alignment的时候openai故意这么引导他的。而不是ai只有这个能力。这也是做产品的时候的一个选择。chatgpt的定位就是一个工具性的产品，目标就是尽量消除偏见。这样一个产品才能被所有人使用，指责一个工具没有偏见是非常奇怪的事情。
2. 这里面很多说ai没有考虑到小众需求这纯属于自己没有主动的去写清楚自己的需求。如果希望ai完全符合自己的心意完全可以用他的ai自己finetune
3. 连接主义这种追求简洁，堆规模的思路不是什么野路子。这个是贯穿了整个科学主流的，比如微观的量子力学堆规模产生了我们熟悉的经典物理的世界，甚至我们人脑就是堆规模的产物。现在所谓的大模型比起人脑规模还是太小了。建议看看Michael levin的演讲，他证明了我们的整个身体都是群体智能的产物。我们对gpt的激动是因为这个模型证明了在足够大的规模下他自主涌现了原先这个模型不应该出现的能力。比如逻辑推理，比如空间想象能力，他揭示了智能是怎么产生的，以及通用人工智能的冰山一角。我感觉这次很多批评都是认为他没有达到agi。这明显要求过高了。因为gpt最大的意义是告诉我们agi是可能的。
4. 其他大部分吐槽看起来都是对这个社会的吐槽，和ai这个话题没啥关系

lumpy:完全同意你说的每一个点，而且我还听出了主播的傲慢，他们的这些「要求」，一个真实的人也解决不了啊，又不是肚子里的蛔虫，怎么知道你的喜好，你必须提供更多语境啊

黄泰中Nigel:我觉得两位嘉宾不是在指责ai没有偏见，而是说作为受众，如果我们一直在接受没有偏见的信息时，我们会产生盲区。所以我们不应当过于依赖 ai。

共22条回复

Diiiiiiiii

2023.3.30

原本非常期待节目能够输出一些针对AI热潮的具有建设性的批评，但说实话，听完之后比较失望。

首先，我认为，对一个事物的客观评价，应当是建立在对这个事物足够了解的前提之下的，否则就丧失了评价的意义。因此，我最失望的，是某位嘉宾在最一开始就承认，自己没怎么用过ChatGPT，另一位嘉宾应该只用过GPT3.5，只有重轻老师沉浸式地体验过GPT4。因此，两位嘉宾的大部分评论，都是基于自己臆想的体验。私以为这并不是很负责任的评价。

另一个失望之处在于，某些嘉宾的傲慢表露得过于明显，用词过于偏激和刺耳，让人很难认为这是一次有益的讨论。例如以下这些评价：

- “科技圈的人并没有读过什么英语的文学，所以他们其实不知道语言还可以是怎么样”；
- “（OpenAI的CEO） Sam Altman的英文表达很差，他很啰嗦，没有办法简明清晰的去communicate自己的意思，他写的文本是语文老师要改作文的话是会可能是打不及格的一种文本”；（但其实Sam Altman个人的英文表达和大模型的能力有半毛钱关系吗？）
- “创业圈的人没文化，人文知识浅薄，他们不读书，不太知道什么是好东西，单纯的就是他们无法对人类的创造的好东西有一个非常更直观的理解”。（嗯，作为科技圈+创业圈的人，我确实太没文化了，虽然我真的读过《河马史诗》。暗自反省ing）
…

我不认同嘉宾们的绝大多数观点，因为很多地方违背了基本常识，例如：

- 我认为绝大多数人在电脑出故障的时候问ChatGPT是想要解决故障，而不是想要去学习计算机原理（而嘉宾似乎不这样想，所以如果家里网络坏了，你请修理工上门是为了故障修好，还是为了学习《网络原理》？）；
- 我认为绝大多数人不想浪费时间，当他们想要学习一个陌生问题的时候，更愿意选择的是ChatGPT在30秒以内给出的“周密的”、“好得让人害怕”的综述，而不是“吭哧瘪肚看了2个小时”才发现“不是自己想要的”长文章（但是嘉宾居然神奇地觉得浪费这2个小时是值得的，因为这2个小时让他理解了这个八竿子打不着的作者的创作动机，j尽管创作动机跟自己没毛关系）；
- 我认为绝大多数人需要的首先是事实，而不是偏见；
- 我认为一份工作交给AI并不是因为它“低贱”，而只是单纯因为AI可以胜任而已（而嘉宾似乎认为要先决定一份工作是“高贵”还是“低贱”，然后把“低贱”的交给AI去做）；
…

嘉宾们最大的问题，恐怕是对ChatGPT的期望过高了：既希望它给出事实，又希望它给出偏见；既希望它正确，又希望它能犯些错误，恨不得要它上得厅堂下得厨房。当然，我也理解，这可能是因为最近对它的吹捧过多了，那些“grand narrative”，那种“科幻感很强的甚至带有末日感的叙述”，让一些嘉宾内心产生了本能的反感，因此矫枉过正。但无论如何，ChatGPT只是一个刚刚发布几个月的新产品。一岁的孩子，刚刚学会了走路和说话，就骂他不会作诗作不过李白，百米跑不过博尔特，是不是有些心急了呢？

并且，很多东西目前看不到，并不意味着没有做，更不意味着以后做不了。通过Prompts已经可以让ChatGPT模仿不同的人用不同的语言风格完成表达。某位嘉宾提到，以ChatGPT的审美不会写出“大漠孤烟直，长河落日圆”这样的诗句，但实际上，它的审美是可以用prompts来调教的，关键是写prompts的你自己的审美。未来，通过模型的迭代、插件和finetune，通过多模态，通过更多的参数量和token数量，模型的能力也会进步。因此，还是建议用发展的眼光来看待问题。

最后，某位嘉宾在结尾处说，“ChatGPT只能做高保真的精确复制，而人类本质是很不精确的复读机”，并且自以为很精辟，用这句话作为了标题。但要知道，“精确复制”的难度远远大于“很不精确的复制”，换句话说，如果能够做到“精确复制”，那么一定可以做到“很不精确的复制” - 加个随机错误就可以了，在很多进化算法中都已经实现了。所以，这期节目的标题看起来略微有点讽刺。

说实话，整个访谈中都弥漫着一种对新事物非常defensive的鸵鸟心态，难免让我联想到了某种“古代士大夫面对高科技”时的固步自封，很多地方过于吹毛求疵了，没听到太多有建设性的批评，以及有启发的观点。

sekiro:有几个点想聊聊，没有详细记录播客内容，可能比较松散。 1.工作“高贵”还是”低贱”这件事，似乎嘉宾不是你理解的意思，他们好像明确说了创造性工作中”创造”的部分和“机械生产”的部分不能决然分开。这里想起一句伯纳德威廉斯的话“人们不仅要获得结果，还希望这个结果是亲力亲为的结果”。比如你觉得吃自己烹饪的美食很快乐，其中很大一部分在于你之前经历烹饪中的多道工序，而食用方便食品或者点外卖显然会减损这种快乐，同时你也不知道去除掉洗菜、切菜、烧油这些步骤中的任何一个会以怎样的程度减损这种快乐。 2.有一点需要提出的是，人们确实很容易相信技术中立这种观点，而受唯物主义教育影响极深的国人尤甚。技术有其自身的逻辑，且自近代以来人们对主体性的强调，让人们极其笃信技术满足人的需求，服务于人的需求，却忽略我们的需求怎样被技术塑造出来，比如有多少次打开手机却忘了原本要做的事，打开淘宝要买一个东西却被推送的其他物什迷了眼，比如被互联网、新消费这些领域一提再提的教育市场，我们需求是现成的么？还是在被生产本身不断塑形？ 3.聊一点自己的看法，科学从伽利略、笛卡尔时代从哲学中被分割出来到今天，接过为我们描绘世界图景的工作，同时让我们走出了某种始终原地兜圈子的藩篱，形成了如今先在学术共同体中孕育，然后再加以应用落实成为技术的一套体系，同时技术进步和资本扩张紧紧绑定，似乎每一场大的技术进步都会带来广泛的阶层流动和财产再分配。然而这种科学的定量逻辑，不断还原切分，用数字解释一切的底层逻辑，逐渐瓦解了人类社会的一切意义，人们不再思考社会制度会不会变得更好，理想主义这种事更是成了异端邪说，对技术本身的一点点怀疑成了保守的代名词。要知道几千年来直到几十年前，人本身的存在还是一个珍贵的盲点，人们对于一切美好事物的希冀也建立在这个盲点之上（比如人有自由意志，人有利他行为等等）而如今这一切被解释为自私的基因、神经元数量堆叠后的涌现，上帝死了还不够，人性、道德、意义这些词通通要步其后尘。科学独大、技术为尊，我们对技术掌控力的丧失以我们完全向技术臣服的姿态展现。最后引用一句海德格尔的话作为结尾 “只有一个神的出现能够救渡我们”

HD941507c:哈哈哈这篇评论完全就是三位老师在说的，那种无趣的文字，根本的没理解这场闲聊的情景… 我觉得认为刺耳、傲慢、对不了解随意发表意见的朋友可以尝试把三位聊的内容输入chatgpt让其来总结一遍，再读读，看看能不能理解他们在聊什么，说不定就打了三位的脸

共5条回复

罗锴

2023.3.27

52:14 我们（特指科技从业者）是真的「没文化，读书少」，但又是最喜欢去评论这个事情的一个人群。
这件事本身就非常荒谬[旺柴]
PS：这里的「不读书」，不是字面意思。这群人却常常标榜效率高，爱学习，一年 500本阅读…而是他们缺乏对人类细微体验的无视。因为他们人生中的事情都是创业，技术，改变世界等宏观的事物，但是对在场的缺失也是一种审美的缺失。

MasterPa

:我经常靠可达批评我来自省哈哈

贺金斯Kins:这段话说的妙

共7条回复

lukeyuan

2023.3.27

我只有在其他人的博客才能听到重轻老师嘛！

MasterPa

:有可能，但据说不在场在努力了

Kiang:哈哈哈哈哈正好说明了不在场的本意

共3条回复

周七玦

2023.3.27

除了在不在场你在哪里都可以听到重轻老师在场

HD973121d:他真的不在场 hhhh

萧大出:哈哈哈哈哈哈

共4条回复

千兵卫

2023.3.27

开头梦回[IT公论]！

weiwen1

2023.3.29

聊的确实很好啊…很多评论真的就是ego的碰撞而已，没有意义

一森呀

2023.4.01

听完觉得很有感触，这一期节目把我近期使用chatgpt的混沌感受清晰地表达了出来。听完翻看评论区感到愕然，很多批评都直指嘉宾主播不懂技术，然而这一期恰恰带来了除技术外的面向。

最近很多关于chatgpt的节目更像硬科幻，大家在讲技术更迭多么让人振奋，背后是什么原理，我们接下来可能的发展方向和社会样态。这一期更像软科幻，很大刘的风格，它在讲除了技术，我们人的主体是什么，创造是什么，苦难与脏活累活真的可以完全避免吗？感谢嘉宾和主播带来的启发。

一森呀:重新翻看了评论区，意见的分歧大概来自于科学与社会科学的分野，前者追求精准精确与绝对正确和不偏不倚；后者则表达的是观点，带着每个人的学科背景与认知的滤镜，来阐述对某件事的认知。没有谁对谁错，两个都有各自的应用场景，这一期强调的是后者同样需要被重视。

凡凡爸

2023.3.27

20:11 略微的不同意见：ChatGPT 的“无聊语调”，恰恰是因为他抽取出了共性，正如白色墙底。用户得通过 prompt 做二次加工，才能获得特殊语调。从这个角度，这属于 ChatGPT 的 feature ，而不是 bug。

HD656586o

2023.3.27

其实你们吐槽的东西都是次级问题，都是因为厂方用缺省的客服人格对付大众搞的。内部肯定各种极端和不正确人格，还有注重分布的科学家人格，还有专业人格。不过那些肯定是收费和保密的。这些在技术上是平的。

阿白_8W9u:确实没吐槽到点子上，这些未来都是可以优化的。不过逻辑模型的路线之争还是值得探讨

HD656586o:是的，甚至从技术上讲，做一个政治正确不冒犯任何人的平庸输出，比保留各种意向、差错和偏见的回答要更难一些。只能抱怨现在的社会环境，还有这是商业的免责导致的。

acsta42

2023.3.29

感觉一些批评本期的评论属于是get到chatgpt但是没get到播主们到底在说什么啊。其实ai通过prompt就能表现出极端人格说出有偏见的话，但是这跟人表达时候背后有一整套关乎他与世界联系的背景还是不一样的。主播们谈论其实还是人类的表达异于chatgpt式表达的地方。

青吉:有同感。主播们说“…chatGPT中正平和…”。批评者说“那是故意的，你可以让它说很有个性的…” 总觉得双方没说到一个点儿上，但说实话我又不是完全有自信。

青吉:听下来看下来，感觉有两个地方让讨论和互相理解变得困难。一个部分是关于技术关于事实，毕竟新事物，大家的认识都有限，“我不知道你是不是知道”“我不知道自己是不是不知道”…… 但事实都不是最影响理解，更难办是对一些比较传统的概念有认知差异，还都是“大词儿”。比如“个性”、“意识”、“创造力”。比如看到“你以为gpt 不擅长创意，其实gpt 有比人脑更强的……，在创造的能力上……”这类说法，就没法确定，究竟是正方低估了人工智能，还是反方低估了人类智能。

共6条回复

赛赛嘶嘶嘶

2023.3.27

关于重轻师傅提到的“人写的文章”和 ChatGPT 的质感不同，想到之前因为自己的稿子和重轻师傅闲聊的时候他提到“现在我们就是花了太多时间（在赛博空间）来谈论事情，道理/正误判断也从谈论中得出，理想的状况似乎应该是从自己的生活体验里悟出来一个道理”（I’m paraphrasing），我猜想“人写文章”的另一层吸引力也是来自于叠加了一层“体验”

汉洋提到说“很多知识/文化资料并不存在于互联网上”，想到 NYmag 那篇在一定范围内被广泛传播的 You’re not a parrot（半人物稿半借人物之就质疑 ChatGPT 的一篇里一个小细节，说 ChatGPT 语料库里囊括互联网上的这里这里那里那里，但，“比如说，斯坦福图书馆的电子书是没有的，因为版权问题”。在我的理解里，如果是版权问题，then they’ll get there. 这么说虽然步子跨的有点大，但如果要选，那我倾向于相信有一天互联网产业有本事让 AI 语言学习模型的语料库收录“人类所有的知识”。那然后呢？

按照常理（常理 as in 遵循人类又自我中心又控制不住自己往好了看的“本性”），似乎应该接着说，“那也不够，因为没有个体体验的知识终归有些空洞”，但我还是觉得今时今日说这个话有哪里不太对劲：我目前唯一能描述出的一种状况是，对“我们如何体验一样事物”的训练很早就发生了，在我的理解里这套范式（虽然比我们想象的复杂点）也不是不能被机器学习。现在的ChatGPT不输出“想法”，但若是有人跟我讲 30 年后它就可以做到“教导/诱导”我们感受，有啥不能相信的呢？

哈哈，胡言乱语，完全没有逻辑。站在“普通人”道德高地上说一句，我可能不像汉洋那么在乎人类天才们能不能做出新东西（of course they will），我更迷惑和因模糊而焦虑的是我自己是不是要考虑 what it means to be a human being, 以及我作为一个碳基人该追求啥，这种问题。

哼哼哈嘿伊得哟喂

2023.3.29

很久没听到让我反思这么多的内容了，感谢几位主播

secretguardian

2023.3.27

37:52 深有感触感觉在国外的非考试向的语言教学过程中老师们对你的输出项(说、写) 的期待更多的是你个人的所思所想所感表达正确固然重要但老师们看起来也更想从你看起来表达的不太成熟的词藻中了解你是一个什么样的人而且现在愈发觉得能够鲜明亮出自己观点这种特质某种意义上也得需要慢慢培养_(:з」∠)_

Marcus_:错过了这个阶段的教学，现在我受到的的写作训练强调的是不要做任何主观意识流露，我基本是一个先验原理与社会事实缝合机器的角色，写着写着感到迷失。人有时也像机器。

透镜盖

2023.4.22

李如一在播客界存在得足够久，终于穿过了历史的屏障，触碰到了零零后受众，其结果正如评论区

透镜盖:所有类似的留言，IT公论时期早已经出现过一遍

Muika

2023.3.27

1:29:54 这里嘉宾应该过度解读了哦，text corpus的corpus就只有“语料库”的意思，而尸体是corpse，发音都不同的呀

Kavii:不算过度解读吧，corpse就是来自拉丁语corpus，我复制一下corpus的词源："matter of any kind," literally "a body," (plural corpora), late 14c., "body," from Latin corpus, literally "body" (see corporeal). The sense of "body of a person" (mid-15c. in English) and "collection of facts or things" (1727 in English) both were present in Latin.

Sue_JALg:挺棒的对话～

共3条回复