【大白话系列 #3】大白话聊 ChatGPT(Sarah & 王建硕)

【大白话系列 #3】大白话聊 ChatGPT(Sarah & 王建硕)

138分钟 ·
播放数50085
·
评论数194

欢迎各位收听 Traders' Talk 大白话系列第 3 期。

这次建硕和我聊的是一个充满未知和想象力的话题——ChatGPT。就在今天凌晨(2023/3/15),OpenAI 发布了 GPT-4,它比之前的产品更加可靠、更有创意,能处理更细微的指令。

在本期节目中,建硕科普了 ChatGPT 的定义和原理,澄清了关于它的常见误解,并从创业者视角畅谈了 ChatGPT 的应用前景和创业机会。最后,我们还探讨了与 AI 相关的隐忧。

感谢各位的收听,我是 Sarah,让我们开始本期节目吧!

———以上文本由 ChatGPT 生成———

    

相关文稿及视频】

【嘉宾简介】

王建硕,百姓网创始人、董事长,公众号:王建硕。

  

【Timeline】

一、ChatGPT 定义及原理

00:02:58 ChatGPT 首先是一个产品,其次才是一个大语言模型

00:04:23 自然语言处理 NLP 的两大分支:大语言模型 VS 特定语言模型

00:08:30 GPT-3.5 中的 3.5 编号是怎么来的?

00:10:36 ChatGPT 中 G、P、T 三个字母以及微调的含义

00:18:26 特德·姜的文章比喻:ChatGPT 是人类知识模糊的 JPG

00:21:18 人工智能幻觉 AI Hallucinations 是怎么产生的,需要规避吗?

  

二、澄清关于 ChatGPT / LLM 的迷思

00:30:41 为什么 ChatGPT 是数学很差的文科生?它在做的是文字补全 / 文字接龙

00:34:41 近两年大语言模型的突破性进展:涌现、思考链路,但依然算不上通用人工智能

00:40:52 ChatGPT 敲开了 LUI 的大门

00:45:09 建硕经历的四次历史上的惊叹时刻,其中浏览器时刻与 ChatGPT 时刻极为相似

00:49:48 Web3 目前还相当于互联网的 1979 年,虽改变人类世界的能力,但还未到火候,在行业里等待可能是危险的

00:53:51 中国有必要再做一个类似 ChatGPT 的大语言模型吗?

00:59:51 ChatGPT 与搜索引擎的关系

01:01:33 ChatGPT 有没有自我 / 意识 / 人格?

01:13:14 如何看待 Yann LeCun 教授的评价:ChatGPT 所应用的技术并无多大创新,只是在工程设计上非常优秀?

  

三、创业视角看 ChatGPT

01:15:36 ChatGPT 可被应用的领域有哪些?

01:19:34 基于同一套 GPT 模型 API 开发的产品该如何进行产品差异化、构建竞争壁垒?

01:22:38 ChatGPT 这一次浪潮究竟是谁的机遇,产业链的价值捕获最终会落在何处?

01:28:43 国内外创业者在这条路上有时间差吗?

01:35:31 ChatGPT 会让人失业吗?

01:39:50 会用 AI 和不会用 AI 的人之间会形成更大的不公平吗?

  

四、AI 隐忧

01:42:13 ChatGPT 生成的内容应该受版权保护吗?

01:44:45 ChatGPT 背后的语料是否可能涉及侵犯隐私或非授权的数据爬取?

01:49:48 未来互联网会不会充斥着 AI 生成了大量同质化或平均水平的语料?

01:59:48 ChatGPT 不仅不会像抖音算法那样割裂世界,反而给人类世界大同的可能性

  

五、其他

02:10:07 AI 教育的重要性,以及建硕在实践的瀛海威互联网分享精神

  

【名词解释】

1. ChatGPT 的核心是大型语言模型(详见第 4 点),及《ChatGPT 中,G、P、T 分别是什么意思?》。

2. 微调(Fine-Tuning):这部分训练是在预训练之后进行的。该程序接受一项任务,然后针对更具体的数据在更小、更具体的任务上进一步训练它。

3. OpenAI 各代产品

  • 2018 年 GPT-1(开源):首次让人工智能像人类一样「理解文字」、写出文字

  • 2019 年 GPT-2(开源,1.5 billion 参数)

  • 2020 年 GPT-3(未开源,175 billion 参数,45T 文本)

  • InstructGPT:专注于让其听懂指令

  • ChatGPT(GPT-3.5,500G 文本):基于对话场景以及安全边界等进行加强,是 GPT-3 模型上进行微调的产物

  • 2023/3/2 GPT-3.5 API 开放:人人可用、接入门槛低

  • 2023/3/15 GPT-4 上线,最大亮点是多模态能力

4. 自然语言处理(Natural Language Processing,简称 NLP):是 AI 领域的一个子领域,旨在让计算机能够理解、处理、生成自然语言。

  • 大语言模型(Large Language Model,简称 LLM):是自然语言处理领域中的一种技术。LLM 可以基于深度学习算法构建的模型,通过学习大量的文本数据,可以对文本数据进行学习和预测。“大”指的是参数多、语料多。

  • 特定语言模型(Specific Language Model):是一种针对特定语种和领域的自然语言处理模型。它在大语言模型的基础上,使用特定领域的文本数据进行训练和优化,以提高模型在该领域中的预测和生成能力。

  • 意图检测(Intention Detection):是 NLP 领域的一种技术,旨在识别和理解用户在一段文本中的意图。在应用中,意图识别通常与语音识别和语音合成等技术相结合,以实现智能对话和交互。

  • 实体检测(Entity Detection):同样是 NLP 领域的一种技术,旨在从文本中识别出具有特定意义的实体,例如人名、地名、组织机构、日期、数字等。

5. 提示词(Prompt):一种文本片段,包含了对输入数据进行处理的指令或提示,系统可以根据 prompt 生成相应的输出。通常用于生成文本、回答问题等任务中。

6. 人工智能幻觉(AI hallucinations):人工智能系统在生成输出时,所产生的一些错误或不合理的结果。这些结果通常是由于模型在训练过程中,所接受的数据不足或不平衡所导致的。

7. 涌现(Emergence):从简单的算法、模型或数据中出现的意想不到的结果或行为。当神经网络的复杂性和训练样本的多样性超过一定规模后,就会有抽象的推理结构在神经网络里自发地涌现出来,这个过程是非线性的,量变导致质变。

8. 思维链路(Chain of Thought,CoT):用于描述神经网络中的信息流动和计算过程。这一概念试图复现慢思考模式的过程。

9. 通用人工智能(Artificial General Intelligence,AGI):与目前大多数人工智能系统只能解决特定领域的问题不同,AGI 可以具有类似人类的智能,能够在多个领域中学习和应用知识,处理和理解不同类型的信息,并具备自我学习和自我改进的能力。AGI 被认为是人工智能领域中最具挑战性和最具科学意义的目标之一。

10. AIGC(Artificial Intelligence Generated Content):由人工智能自动生成的内容,这些内容可以是文字、图像、音频、视频等。

11. Yann LeCun 杨立昆教授:Meta AI 首席科学家,2018 年图灵奖获得者,CNN 卷积神经网络之父,是世界上最有影响力的人工智能研究人员之一。

12. BUI、TUI、CUI、GUI、GIUI、LUI

13. 乔布斯与 GUI:1979 年,在一次对施乐的帕洛阿托研究中心(Palo AltoResearch Center)的拜访过程中,史蒂夫·乔布斯(Steve Jobs)发现了 GUI 的设计图纸和鼠标。随后便将它运用于 Apple Macintosh 的开发过程中。

14. Netscape Navigator:第一个广泛使用的商业化 Web 浏览器,由美国公司 Netscape Communications Corporation 开发并于 1994 年发布。

15. 图灵测试(Turing Test):一种测试人工智能是否具有智能的标准之一,由英国计算机科学家图灵在 1950 年提出。

16. HTTP 协议、HTML 协议、FTP 协议、Telnet 协议、Mailto 协议、Gopher 协议、NNTP 协议(大家感兴趣的话自行查定义哈……字数太多放不下了)。

17. 阿帕奇(Apache):一款开源的 Web 服务器软件。它以高性能、稳定性、灵活性和安全性著称,可以满足各种 Web 应用的需求。

18. 红旗浏览器:中国自主研发的一款浏览器软件,由中国红旗软件股份有限公司开发,它是国内第一款支持 IPv6 协议的浏览器。

19. AI 军备竞赛:2023 年 2 月,Google 推出 Bard;微软推出 New Bing。国内百度类 ChatGPT 聊天机器人项目名字确定为「文心一言」;中国初创公司元语智能首发 ChatYuan。

20. 巴别塔:《圣经》故事,讲述了人类曾经想要建造一座高耸入云的巨塔,以便让自己的名字传遍全世界,但被上帝惩罚,使得人类的语言不同,无法相互理解,于是他们停止了建造,分散到世界各地。这个故事被认为是对人类的骄傲和自大的警示,同时也是对人类语言多样性的认识和尊重。

  

【相关链接】

1. 建硕公众号中关于 ChatGPT 的文章(文末)

2. 《ChatGPT是网上所有文本的模糊图像》,《降临》原作者、科幻小说家 Ted Chiang(特德·姜)发布于纽约客的文章。

3. 木遥《涌现》《涌现(续)》

4. A Conversation With Bing’s Chatbot Left Me Deeply Unsettled,出自《纽约时报》专栏作家、 Hard Fork 播客主播 Kevin Roose,他讲述自己体验 New Bing 后被 AI 示爱的过程。

5. “ChatGPT is 'not particularly innovative,' and 'nothing revolutionary', says Meta's chief AI scientist”《Meta首席AI科学家:ChatGPT并无特别的变革创新》,LeCun 教授认为,与其说 ChatGPT 是一个科学上的突破项目,不如说它是一项成功的工程实践。

6. A16z《Who Owns the Generative AI Platform?》,这篇文章将 AIGC 产业链玩家分为了以下几种:

  • 实体基础设施供应商可能是迄今为止这个市场上最大的赢家,捕获了大部分的价值,占据了流经此的大部分资金。如底层的芯片等硬件制造商、云服务商(基本无创业公司机会)。

  • 上层的 AI 模型开发公司,也就是创造最大价值的公司——即训练生成式 AI 模型并将其应用于新应用程序——并没有获得大部分价值。

  • 终端的纯调用模型 API 的应用开发公司的收入增长非常快,但往往在留存率、产品差异化和毛利率方面苦苦挣扎。

7. 斯坦福大学最新关于心智理论论文

8. 百姓网 AI 教育负责人 ElfeXu 文章:《因 AI 而强大》《如何在遍布 AI 的世界里游刃有余地生活》

9. Hung-yi Lee 关于 ChatGPT 的原理剖析视频系列

10. 老华《关于 ChatGPT 的一些问题和思考》分享:建硕视频号 2023/3/4 直播回放。

11. 《ChatGPT 与人类未来:AI 茧房、安全漏洞与未知的社会形态》,硅谷 101 公众号文章,创新工场 CTO 王咏刚在朋友圈中写到:「悲观情况是:因为人类的极度懒惰,互联网被AI生成的、错误率普遍高于人类知识工作者的『灌水内容』占领,我们的孩子成为『迷失的一代』」。

12. 《AI 作图的版权属于作者吗?》 by 刘飞 Lufy

 

剪辑:二琳

制作:Sarah、我不跑调

展开Show Notes
Sarah_Jing
Sarah_Jing
2023.3.15
置顶
不知道大家发现片尾有什么不一样了吗👀 Traders' Talk 新增了一位赞助商 OneKey(开源硬件钱包),从这期开始将每期从评论区中挑选一位优质评论听众送出 OneKey Touch 一台。欢迎各位踊跃评论👏
这期听起来很顺畅!Sarah的提问水平一如既往地很高,建硕的讲解既妙趣横生,也让人收获满满,其他相关播客更集中在商业应用或是使用窍门,这期播客从概念、底层逻辑、创业视角等角度都有更为全面详细地讲述,非常值得听!

超级喜欢Sarah和建硕录的大白话系列,期待能够继续更新😍!
Sarah_Jing
:
谢谢 Vivi,这么快就听完了,不愧是你!其实我之前还想过约建硕录一期环球旅行见闻,可又觉得实在是跑题得有点离谱 🤣
Vivi刚刚好:我觉得🆗 ,我也喜欢看看建硕分享的旅行文字哈哈
3条回复
OdysseysEth
OdysseysEth
2023.3.17
正如优秀提示词才能够引发ChatGPT优秀的回应一样,Sarah向建硕扔出了出色的Prompt。

建硕用保洁来比喻预训练,举重若轻地解释GPT三个字母;用苹果的平方根、用锄禾日当午来解释ChatGPT的原理和其在数学上的局限,真是轻巧玲珑的“解构”。

ChatGPT像是浏览器诞生的时刻吗?浏览器、iPhone的诞生,都开辟了海量的可能性空间。GPT亦然。并且浏览器的诞生意味着一个技术栈的一家独大,GPT似乎也将如此。

建硕认为未来会出现更广阔的空间从而有全新的价值捕获的企业,颇有启发。建硕为工程师免费提供的资源,也令我颇为感动。就像我感动于Aaron Swartz一样。

回看文字稿,每次看到不确定的词语用了红色标注时,总有一种欣赏艺术品的愉悦感。打动我的不仅仅是思辨,更是这种Never Settle的气质。这些细节就像一张模糊的JPG,让人得以窥见一个更广阔的内心世界。
Sarah_Jing
:
请这位奥德赛老师(🤣)微信发我下你的收件信息~本期的 OneKey Touch 就送给你啦,谢谢你的优质评论!
nuonuuuo:奥德赛老师说的真好
3条回复
蔡挺
蔡挺
2023.3.16
听了几遍,这一期属于chatgpt知识普及了,建硕老师做了很详细的讲解,特别擅长把抽象概念和现实案例结合,让我这个不懂得人也能明白。Sarah很漂亮(在建硕工作号看到的视频),提问的也很好,有的放矢了。
吃鸭酱
吃鸭酱
2023.3.17
1:09:52 人的大脑也不过是一个自然界创造的基于统计的模型而已,只是参数规模更大,那堆蛋白质神经元只是比晶体管性能更好而已。如果gpt的参数规模达到人脑的程度,她会比现在更有逻辑更有情感。我们以什么依据说我们的智慧是超然的,而gpt看起来的智慧是可笑的?
JaMin_
JaMin_
2023.3.16
听到此刻,突然想翻一下shownotes结果:这是一个什么宝藏博主😂,满满当当完全就是新的世界,惊喜点有两个:竟然有文字记录(不过想问是一变录一边开妙计?);还有对播客中提到的一些专业名词作了很详尽的解释或者延伸的文章。 很棒 接受到了这么好的内容以及如此用心的shownotes,感谢🙏
夏帆儿:Show notes非常棒! 很涨知识
Sarah_Jing
:
谢谢你认真看 shownotes!里面附上的文字逐字稿有两个,一个是播客后期剪辑完成之后上传到飞书妙记里的,没费什么功夫(直播时录制的是本地音轨,没有一边开妙记);另一个是仔细精校过的直播逐字稿,那个是从直播后就开始每天做一点完成的,其实比整个 shownotes 更费时间 XD 总之希望对更习惯看文字的朋友有帮助!
3条回复
来了
Sarah_Jing
:
欢迎优秀的制作人跑调同学:D
Lauren:跑调nb
我们需要去重新复制做一个Chatgpt大模型吗?我们会因为AI大面积失业吗?我们会成为迷失的一代吗?
不会的,我们走在希望的田野上,像古早人类学会了用火,于是洞穴外的牛鬼蛇神便不需要再进化。GPT是底部的基础设施,基于此,我们现在很多的应用场景都可以+GPT重新再做一遍,就像多年前的互联网+一样。
这样想,以今日GPT4的语料丰富度,我们相当于每个人都可以配备一个高效率的助手,它帮我们筛选很多帮助我们做决策的背景信息,但是到最后,做判断的还是那个人。AI的医术再厉害,恐怕很多人也无法信任它。
当然,许多年后,也会有人嘲笑我上面的想法。因可能我还是太狭隘了,京东可以重新做一遍,美团可以重新做一遍,我还是基于Web2的框架去畅想未来。
但可能未来不需要一个个框,也可能每个人各有一个框,也可能我们是共存在一个大框中,比如就在微信上,把所有是给干了。的确很想跳出现在的框架,但很难跳出来。期待健硕说的一个个小机器人联通的世界。
许倬云说,人类配合AI,而不是AI配合人类,这很悲剧。这个还是带着人类的优越感的,就像健硕说我们真的有意识吗?也不一定吧,可能我们只是虫子?像佛家说的“诸法无我,我亦无诸法”……
扯远了,大浪潮铺面而来,虽然我很反感一些大词,什么大历史大时代,但的确能感受到这种跳动的脉搏。希望每一个人都能有一分力出一分力,去广阔天地躬身入局,再不济,你卖账号可以吧?
我们庙堂应该有高人,能看到这样的颠覆性机会,一起摸着石头再过一次河。
感谢这期精彩的内容。
晨萱I语迟者说:想的太美了,很多人不在“我们”这个范围内,就像你所言的古代,人类战胜了野兽,得到进化,但那也只是智人一支,其他种群还是灭亡了。在过去十余年里,我们靠科技与互联网维持了经济持续增长,甚至抹平了经济周期的变化,而实质是拿美国的开源来开发应用层,面向toc 市场,这的确改变了生产关系,甚至生产力,但没改变权利与分配关系,没掌握核心技术,一旦人口红利消失,技术泡沫破灭,一切现原形,还是那些哪怕是很基层的“权利关系”掌控一切,如过去三年感受到的。还有一旦新的开源出来,在旧开源基础上开发的一切灰飞烟灭,最适合的例子同时满足这两点,就是过去风光的所谓AI四小龙,以为他们是高科技,但都是拿tensor flow开源做应用层,没有高门槛,被当作技术解决方案商被真正掌握政府关系的华为大华海康挑来挑去,做集成。结果就是在技术上彻底溃败,GPT一出,只能望洋兴叹
达达滚雪球:你这个让我感觉像是 AI 回答的?
超超超详细的shownotes,不愧是Sarah!
Sarah_Jing
:
不愧是跑调!
Diiiiiiiii
Diiiiiiiii
2023.4.13
建硕老师的这期播客,虽然是面向零基础小白的,但表达得非常清晰,主持人的提问水平也很高,听下来还是有不少启发。一些核心的观点摘录:

1. 关于GPT原理最为精准的类比来自Ted Chung:GPT就是将人类知识压缩成一张模糊的JPG(然后再用超分辨率的方式还原出来,过程中还原得不精准的地方就是“幻觉”,Hallucination)。建硕老师自己对GPT4的类比是阿帕奇,同时将GPT4的训练数据类比为阿帕奇的帮助文档;

2. GPT分为“快思考”(系统1)和“慢思考”(系统2)。快思考可以类比为“顺口溜” - 唐诗听多了,不会吟诗也会吟;慢思考(chain of thoughts)是指GPT4可以通过步骤拆解来提高正确率;

3. 交互方面,经历了 BUI(Button User Interface,按键交互)、CUI(Command User Interface,命令行交互)、GUI(Graphic User Interface, 图形界面交互)之后,大模型时代的交互方式变成了LUI(Language User Interface,自然语言交互,建硕老师自己的定义);

4. 类比互联网的发展历程,目前Web3所处的节点相当于互联网的1979年,DNS等很多协议都出来了,但还缺少一个定义性的体验时刻,而AI所处的节点相当于互联网的1994年,浏览器出来的时刻。不幸的是,在此之前的NLP等技术都可以宣告被淘汰了,而幸运的是,浏览器本身只是一扇门,真正的机会属于千千万万的网站和应用。目前大模型的竞争类似于微软和网景对浏览器入口的争夺,尽管微软赢了,但也因此错失了后面整整的一个时代;

5. AI时代的生态想像:很多小机器人相互之间用API连接调用,最终通过一个LUI和终端用户互动。由于小机器人很多,因此需要通过一套类似域名的寻址系统来访问 - 这也是建硕老师正在做的一种服务;

6. GPT4本身并没有太多科研层面上的创新,但这并不妨碍它的伟大。人类历史上的很多伟大的时刻,例如发现新大陆、登月、发明iPhone等等,本质上都是工程的胜利;

7. 尽管国内大模型目前落后GPT4很多,但按照目前投入的财力和决心,最终一定可以做出效果相当的大模型。这就跟哥伦布发现新大陆以后,第二次再去新大陆的难度是一样的。已经有前人指出了一条明路,站在巨人的肩膀之上,难度会低很多;

8. GPT4肯定有智能,但肯定没有自我意识。问题是,人类也很难说自己有自我意识,很多时候只是在自作多情而已。很多时候,我们的人生只是各种硬件(DNA、身体结构)+软件(文化、历史、习惯、教育)所运行出来的结果而已;

9. 失业潮不会到来的,因为历史上的每一次技术革新都创造了新的工作。(这点持保留意见)贫富差距可能会变大,政府可能需要在财政制度上做出相应的调整,来进行财富的重新分配;

10. 对版权、隐私、垃圾内容、虚假信息等问题不必过份担心,这是新事物出现的必然产物,随着社会的发展都会得到自然解决。不要因噎废食;

11. GPT4有可能会促进社会的共识 - 在推荐时代,千人千面的算法让每个人都陷入自己的信息茧房,让社会空前割裂。这可能会在大模型时代得到某种修正。大模型再次让大家看到了一致的世界,在同一个场景下进行有益地讨论(这点持保留意见);

12. 做一个科技乐观主义者,相信科技会造福人类,同时尽自己所能来帮助年轻人来更好地体验这个新世界。
Vickyyy
Vickyyy
2023.3.28
值得听完后又去复习一遍精编文字稿 💕建硕真的是新时代的费曼了
- GPT :
Generative (vs congnition)
Pre-trained
Transformer (编码解码-对应模糊jpg的描述)
- chatgpt是“把人类的观点和语言做了一个加权平均”
东东是我呀:精编文字稿在哪嘞?感谢感谢
Vickyyy:shownotes里 第二大段
3条回复
躺赢君
躺赢君
2023.3.27
1:13:19 没想到健硕老师也是决定论信徒,有种我不孤独的感觉。
ilovegaga
ilovegaga
2023.3.21
第一次听这档播客,要被sarah圈粉了,提问的水平太太太太高了,嘉宾的表现也超级超级好,真的是用通俗易懂的语言向我们介绍了chat GPT
Xa_na
Xa_na
2023.3.20
Sarah提的问题真的都戳中我很疑惑的点。最后建硕老师的打破信息茧房、走向世界大同的观点是我从未设想过的方面,这真的很有意义。但不知道是不是自己在钻牛角尖😂我依然疑惑到资本等力量在网络灌水导致一方观点往另一边倒,以至于导致chatgpt观点实际上并非真正的大众观点这一过程需要的过程有多长的,如果这个注水的过程很容易实现,且这段时间不足以让人类历经从不信服到信服的过程,那么chatgpt输出的观点不就没有被信服的权威性了吗,这样就比我们预想的价值低了很多,世界大同的想法也应该就很难通过chatgpt实现了吧
真·大白话 讲得很干货 理解门槛也因为详尽细致的shownotes大大降低了!
GZXD
GZXD
2023.3.22
2:10:57 这一期真的精彩,讲人工智能历史回来预测,各种答案表达都到点上,值得听两三遍
Sarah_Jing
:
感谢赞赏鼓励!
hope123
hope123
2023.3.23
1:08:12 你以为是爱情,其实是脑子里构建的illution
ttttttt_YTCY:弱弱地发表一下个人看法~我觉得恰恰是证明我们有意识 意识让我们感受到那个是爱情 然后意识确实是会受到环境的影响的 因为被人需要被规训 自由意识没办法生存 而我们的原始本性是追求生存的
Manual
Manual
2023.11.23
1:08:07 讲到自我意识那部分真的鸡皮疙瘩起来了
小盖不
小盖不
2023.3.17
Sarah和建硕娓娓道来的语气真是太享受了!一边听一边接受和思考都忘记了时间🤭
很喜欢建硕老师讲的ChatGPT最伟大的一点在于把人类和机器的交互方式往前推了一个时代,总算可以直接用语言对话了。也希望全人类可以因为AI变得更加强大!
HD19668z
HD19668z
2023.3.31
第一次发现这个播客,太好了☺️
DemoChen:良心推荐。