ChatGPT停止增长:污染和退化的风险、嵌入代码的偏见、“世界模型”的未来-Vol25

ChatGPT停止增长:污染和退化的风险、嵌入代码的偏见、“世界模型”的未来-Vol25

79分钟 ·
播放数4540
·
评论数74

脑放电波 S02E4。在 ChatGPT 停止增长的时刻,我们发现 GPT 已经开始在中文互联网批量制造“垃圾”,这样的污染也会导致语言模型能力退化。本期也介绍了困扰 AI 发展多年”算法偏见“和“不可解释”问题以及如何改进。图灵奖科学家杨立昆提出的“世界模型”,也许是我们值得期待的下一步。

在评论区留下你使用AI 最好的/最不好的应用,我们将选取3位互动观众送出由基辛格(前美国国务卿)、施密特(谷歌前CEO)写的新书《人工智能时代与人类未来》

对于节目话题的更多观点,欢迎添加脑放电波小助手微信(BrainAMP01)加群参与讨论。

时间轴和参考文章

1:30 ChatGPT 首次负增长,搜索市占极低,调查显示大部分用户没有产生依赖

4:50 OpenAI 开始降本增效

7:25 污染中文互联网、虚假新闻、导致正确的代码网站流量下降(事件:www.v2ex.com

11:55 人为制造的污染

15:40 AI 生成数据自我污染,导致退化的研究 (论文:arxiv.org

23:40 在被污染的数据之上,中文大模型如何发展?

24:36 语言模型的偏见:歧视有色人种、错误诊断

28:43 AI 的不可解释性: AI 可解释性风险的例子:在停车标志上贴黑白胶带,自动驾驶AI 会误认为标志的含义是“限速45公里”,开发者无法解释其原因,图源:arstechnica

30:32 我们也无法解释 GPT 的反馈背后是什么:GPT 学语言像婴儿(论文:arxiv.org);GPT 只会来回讲25个笑话(论文:arxiv.org

34:37 改进AI 的方式:对齐、牺牲性能(论文:Spark Of AGI arxiv.org)、过程监督(论文:Let's Verify Step by Step arxiv.org)、可解释的模型

49:45 针对“可解释性”的思考,会成为 AI 应用的障碍吗?我们接受更少偏见的 AI 来做决策吗?

54:08 就像自动驾驶,阻止我们用AI的可能不是AI 能力,而是法规和商业

59:35 图灵奖得主、Meta 首席AI科学家杨立昆(Yann LeCun)和他提出的“世界模型”和他的 I-JEPA 架构(研究见:ai.facebook.com

1:10:40 大语言模型做虚拟人陪伴非常强(A-16Z 文章见:a16z.com

脑放电波是一档关注科技前沿、品牌营销和个人成长的谈话类节目。每期带给您一个有趣有据的话题,帮您在信息严重过载的现代世界小幅自我迭代。您可以在小宇宙、苹果播客或者其他泛用型播客客户端搜索“脑放电波”找到并关注我们,如果您对本期节目有任何疑问,欢迎您给我们留言,如果您觉得这期内容对你有所帮助,欢迎您关注点赞收藏转发,这对我们非常重要。

展开Show Notes
投票
已结束
13人参与
你在生活中会发现由GPT批量生成的内容(文章、图片、视频等)吗?
看结果
托马斯白
托马斯白
2023.6.27
置顶
欢迎大家在评论中积极讨论,我们将选取3位互动观众送出由基辛格(前美国国务卿)、施密特(谷歌前CEO)写的新书《人工智能时代与人类未来》
mmirac
mmirac
2023.6.27
27:55 谷歌AI一直将黑人识别成大猩猩,到现在也没有解决办法,干脆就关闭相关词条😂
Nixon_Hu
:
哈哈哈哈录制的时候忘记讲这个故事了,这事儿直接让谷歌对AI保守了好几年
烤麸:这个AI说了政治不正确的长识呀
Vito_G
Vito_G
2023.6.27
作为文心一言的内测用户,感受到国内的应用还是有很多需要改进的。期待。
托马斯白
:
文心一言其实已经很强了,起码是中文最强自研大模型~
Vito_G:实际使用,还是发现他种种大笨蛋的场景。。比起GPT3都达不到。。路漫漫啊
HD579136u
HD579136u
2023.7.05
不可解释的偏见问题,我觉得虽然在AI领域是新问题,但是有一个很类似的旧东西,叫犯罪侧写。侧写基本上是基于统计数据,黑人比较喜欢这样犯罪,白人喜欢那样犯罪,没有什么理由,算是精细化的刻板印象大合集。或许可以借鉴刑侦是怎么利用侧写这个技术的方法,来指导我们以后怎么去利用AI
托马斯白
:
有意思的视角
GBU
GBU
2023.6.29
如果不以创造一些新的东西,帮助人类完成很多工作作为目的去看gpt的话,我觉得它对我的生活应该还是能很有很多帮助的。说可能是因为我用不了它的plugin功能,但是光从这些plugin的基本介绍我就能感觉到,它在以往让人头疼的场景(财务计算,目的比较不明确的搜索,pdf概要提取等)下提供了不那么容易被明显感知到的帮助。而这些应用也似乎不那么依靠语料库所提供的价值观了不是吗?
Nixon_Hu
:
插件的价值观,,,,有意思。
托马斯白
:
感谢您的回复,恭喜您获得本次互动活动的奖品:由基辛格(前美国国务卿)、施密特(谷歌前CEO)写的新书《人工智能时代与人类未来》。请您添加小助手微信(BrainAPM01)备注“小宇宙互动领奖” 领奖。再次感谢您的参与!
4条回复
现在回来再补充一点最近所学:筛选语料,减少训练时非歧视文本是不太可行的,配套训练其他模型来对词的概率分布进行修改才是解决问题的途径。具体可以看b站清华nlp网课的6-13受控文本生成那一节。
某方的结语:补充一下,在训练主要模型的同时训练非歧视性的天使模型和高度歧视性的恶魔模型。然后在语言模型进行最后输出词的时候加上天使模型给出的概率并减去恶魔模型的概率,由此来实现非歧视。我们遇到了大模型歧视性的问题,具体的解决要用工程学思维而非仅仅只是停留在筛选语料的层面。
某方的结语:因为很久之前听了所以也不确定是否相关,所以只是凭借印象来补充一些信息,上次听时是暑假回家,现在也到了寒假回家的时间了
4条回复
我不是程序员,但因为LLM出现开始学,发现使用claude帮忙写代码,会有一些误导出现,或许是调教prompt仍然不到位🥶
Nixon_Hu
:
可以和GPT4或者GitHub copilot一起用用
紫林Zillion:是的 后面改copilot了
1:01:09 最近在看计算机系统开创性文献经典选读与解析,里面第一篇文章就是图灵1950年发表的《计算机器与智能》。我也不知道杨立昆先生是怎么具体评价gpt的智能不如狗,但是,无论采取什么样的观点,如果他接受了图灵奖,那么他是如何评价该论文中的这段观点呢? 1.6 来自意识的异议

这个论点在杰斐逊教授于1949年的一次演讲(Lister Oration)中有很好的表达,我引用他的一段话:“除非机器能够出于思绪和情感的流露,写出十四行诗或者协奏曲,而且不是随机地落下音符,那才能说机器能够媲美大脑—也就是说,它不但会写,而且知道自己在写。没有什么机械装置能够感受到(而不仅仅是人工地发出信号,这是一个简单的发明)成功的喜悦、阀门熔断时的悲伤、被赞美的温暖、犯错后的痛苦、性的吸引、求而不得时的气恼或难过。”这个论点看上去否定了我们测试的有效性(validity)。按照这种观点的最极“端形式,一个人确信机器思维的唯一途径就是成为那台机器,自己去感受思维活动,然后向世人描述这种感受,但是当然没有人有理由相信人成为机器后所说的话。同样,依照此观点,要想知道某人是否在思考,唯一的途径就是成为那个人,这实际是唯我论(solipsism)的观点,这也许是所持的最有逻辑的观点,但若真是这样,那思想交流就太困难了,A倾向于相信“A在思考,而B没在思考”,而B倾向于相信“B在思考,而A没在思考。”与其为此争执不休,不如客气地约定大家都在思考。

除非机器能够出于思绪和情感的流露,写出十四行诗或者协奏曲,而且不是随机地落下音符,那才能说机器能够媲美大脑。如果他是这样的观点那么70年前就已经有了,与其说gpt的基于词的概率的智能远低于他的依靠感知的无论什么模型,不如先抛下这个问题,说每个大模型都有智能,而且彼此之间没有那么容易量化评价分析,大模型有性能测试的数据集,如果他觉得自己的模型和方法远胜gpt,那请他发表论文说明。
某方的结语:不知道为什么ios的小宇宙评论区不能换行,安卓的就可以
某方的结语:重新听一遍感觉还是收获很多!
今年2月份在听一期讲ChatGPT的性别歧视的播客的时候我写下了以下的评论,希望对大家会有所启发:

如果把"AI描述某个职业的时候会觉得某个性别的比例会较高"称之为性别歧视了话我认为确实有些不妥。那我们不妨尝试把是不是种族歧视这件事情视为一个光谱,最左端不是性别歧视,最右端铁定是性别歧视。从左往右可以做一些排序:
一个国家的人口性别构成,一个地区的人口性别构成,一个产业的人员性别构成,一个具体的单位的性别构成,一个单位中高层岗位的性别构成,不同性别在职场里获得发展机会与工作环境。
这是非常简易而且粗糙的光谱,但是仍然能给我们一些启示。我们可以在女性权益的许多子话题里都制作一个光谱,重点在于借助尽可能真实的光谱,借助社会意见的最大公约数去谈谈到底需要做到什么程度。

认为人类的设计等等会影响人工智能在一些问题的倾向的观点尽管有一些可取之处,但这忽视了两个关键问题,
首先AI的逻辑是什么?AI的思考方式与人类一致吗?AI在处理自然语言的过程中提炼出毁灭人类的方式就与AI想毁灭人类构成因果关系吗?AI提炼出种族歧视的"社会公约数"就代表它有种族歧视倾向吗?将AI简单的视为"婴儿",视为一种奇怪的人类真的合适吗?
其次,社会的公约数是什么?我们的社会是在变得日趋分裂还是在变得日趋和平,这个问题得不出足够经过验证过的结论,哪怕仅仅是分析程序员的种族倾向同样如此。即使可以证明他们普遍有更强的种族偏见,那我想问,这种偏见与"社会公约数"之间的差值在历史中类似的事情中又是如何的呢?难道工业革命之初一群白人工程师(兼黑人奴隶主们)不带有更强的种族偏见吗?
托马斯白
:
感谢您的回复,恭喜您获得本次互动活动的奖品:由基辛格(前美国国务卿)、施密特(谷歌前CEO)写的新书《人工智能时代与人类未来》。请您添加小助手微信(BrainAPM01)备注“小宇宙互动领奖” 领奖。再次感谢您的参与!
托马斯白
:
抱歉,小助手微信是 BrainAMP01
3条回复
王渣渣
王渣渣
2023.7.05
40:33 感觉会能发展成新的都市传说
Nixon_Hu
Nixon_Hu
2023.6.27
在 GPT 增长停滞的拐点,我们聊了如下的内容:
-仅有4%的人依赖GPT,OpenAI开始降本增效
-GPT 开始制造低质量、虚假的信息,污染互联网;这些污染的信息,本身也会导致语言模型变笨退化
-算法模型内包含了“歧视有色人种”的偏见,这是写在代码里的观点,甚至会让人以为“地球是平的”
-算法模型天然存在“难以解释决策过程”的弊端,我们也无法理解GPT 为什么只会讲25个笑话
-为了让 AI 用起来更像人,目前我们用到的,都是“残血版GPT”
-阻止 AI 工具被推广的,可能不是工具的能力,而是法规与商业惯例:未来每一辆自动驾驶汽车,可能制造商都要为你买保险
- 图灵奖得主、Meta 首席AI科学家杨立昆(Yann LeCun)和他提出的“世界模型”
-辅助工作可能还不准确,但AI做虚拟陪伴实在是太合适了,你家小朋友的辅导教师已经藏在手机里

也欢迎大家在评论区互动,留下你针对 AI 最满意/不满意的一个应用,我们选取3个评论送出由基辛格(前美国务卿)和施密特(前谷歌CEO)写的《人工智能时代与人类未来》
烤麸
烤麸
2023.10.04
质量相当不错的一集!非常喜欢💕
Nixon_Hu
:
感谢反馈!
08:30 这种污染更像是一种信息串联? ai引用的东西来自自己生成的东西,自己生成的又拿来引用形成了一种闭环?
感觉平台似乎很难去进行鉴别这种问题,之前b站会有使用ai绘画一类的标签,但是这种标签在搜索引擎中会有用吗?而且在文字的鉴别难度上其实就感觉非常的大,感觉常用bing都得备一个插件看看是不是"自引"的问题
某方的结语:10:55 便利性打败正确性的问题感觉可以考虑人的行为成本?
某方的结语:这种串联影响的不仅是常使用搜索引擎的用户,使用人工智能语言模型的人同样也会受到很大的影响,就目前来说我不认为这种污染高到了什么程度,不过未来确实很难说
3条回复
ilsli
ilsli
2023.6.27
想起来黑客帝国中的进化🧬依然离不开人类
51:09 现代金融如果没有标准化的贷款风险评价体系只依靠个别有权审核贷款的人完全依靠个人经验来控制贷款发放了话是肯定走不到现在这一步的。
人当然有偏见,每个人都有那么多的差别,成长,知识,经验结构不同的人当然会有偏见,但是整个系统,无论是行业系统还是社会系统都得先承认偏见以及探寻根源。
还是拿有色人种的贷款通过率较低的问题来看:银行基于风险管理,坏账率的理由去拒绝有色人种的贷款是现实,那么这种坏账率是不是来自于有色人种风险承受能力不足,或者还款意愿不足?这种能力不足是否来自于工作中的隐性歧视或者一些看不见的门槛?(当然肯定有很多很多因素,而且他们之间也会相互作用)
坏账率高或者有色人种的贷款通过率低就像市场里面的价格一样,它在反映信息,但是反映的是什么信息,这就得看最开始设计这种机制时考虑了什么信息。
追求可解释性就像不满足于只看价格,而是看是什么让价格发生了波动,这种机制是否健康,该怎么样应对。
Nixon_Hu
:
光谱 表述太形象了
某方的结语:虽然回复错评论啦但还是谢谢你的肯定
HD613174x
HD613174x
2023.6.30
人无癖不可交,Ai无个性卖不掉
Nixon_Hu
:
hhh
-JOJO-
-JOJO-
2023.6.27
老头的模型让我想起尹烨之前对人工智能的看法,他觉得在人类真正搞懂意识起源问题之前都不太可能实现真正意义上的人工智能,听完之后更加认同了,ai其实还有很长的一段路要走。虽然在理性逻辑应用上遇到这些问题,但我看到它在设计、艺术领域的应用还是很震撼,因为它强大的“鹦鹉学舌”能力让很多人的画风都不再具备独特性,也让人会重新思考到底什么才算艺术创作,而商业艺术是不是不再需要人陪的创作。(尤其是之前看到styledrop的一张图片就能生成同风格的很多作品,虽然只是论文阶段,但还是很震撼)
Nixon_Hu
:
一只记忆力很好的鹦鹉,也是恐怖的
HD549888q
HD549888q
2023.7.05
33:42 说到可解释性,想到哲学的一个讨论,你怎么确定自己所见与他人所见是同一所见?怎么确定你所用词义涵盖的实体、现象、意象与他人所用的词义理解的词义是一致的?或许ai所见所得是一个自然的所得,人类所见所得反而是特殊所得,又或许大家看到了世界的两面(胡思乱想)
HD1035194z
HD1035194z
2023.7.05
28:10 算法歧视,大模型结构复杂,1750亿个参数相互作用的结果,高度非线性,可解释性难题,生成式ai没有解决反而加重了ai的固有缺陷。
HD1035194z
HD1035194z
2023.7.05
中文语料库不足,在法律检索上的能力非常有限,经常出现虚假案例撰写与条文编造的情况,比如想要得到中国人脸识别第一案的基本案情,但是gpt会在审理法院和当事人等信息上张冠李戴,专业领域还需要审慎使用。(想要书嘿嘿)