EP 30.【生成式AI专题3】深度探讨大语言模型生态链:芯片,基建,工具,开源,应用

EP 30.【生成式AI专题3】深度探讨大语言模型生态链:芯片,基建,工具,开源,应用

108分钟 ·
播放数10493
·
评论数44

好久没有上新了,大家有没有想念我们呀!最近AI 的进展实在是太惊人。但是新闻看多了,自然需要有一些来自一线经验深入思考,才能窥见更接近真实的图景。这一期也是Onboard! AI 系列的第三期,接下来还准备了好几期星光熠熠的 AI 专题,请大家关注Onboard!, 不要错过哦!

Hello World, who is onboard?

这一期,我们将眼界放宽到大语言模型(LLM, Large Language Model)本身能力之外,看看 LLM 周边生态系统,包括硬件和软件工具链,如何随着基础模型的发展,迅速迭代,又相辅相成。嘉宾们来自生成式AI的上下游核心玩家,包括Nvidia, Google Cloud 的生成式AI平台 Vertex AI, 全球最火的AI模型库和社区平台 Huggingface, AI infra 初创公司,聊一聊从他们的视角看到的AI发展的机会,挑战与未来。

这一期近2小时的讨论非常硬核,从芯片架构、GPU集群管理,到开发工具,甚至还聊到AI的社会影响,有好几个即兴的精彩话题。术语和英文不少,还请多包涵,在show notes 中尽量为大家做好笔记。

话不多说, enjoy!

嘉宾介绍

Jiajia Chen: Senior Product Manager @Nvidia Omniverse, AI infra, Autonomous vehicle data platform; ex-Cisco

Han Zhao: Staff software engineer @Google Cloud Vertex AI

Tiezhen Wang: Software engineer @Huggingface, ex-Google Tensorflow

Ce Gao: Co-founder & CEO @TensorChord, ex-Tencent, Co-chair @Kubeflow

关于主播

Monica:美元VC投资人,前 AWS 硅谷团队+AI创业公司打工人,公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻:莫妮卡同学

我们都聊了什么

02:12 嘉宾自我介绍, fun fact: 最近看到的有意思的AI产品

06:53 Tiezhen 推荐的自然语言编程工具 Cursor, 嘉宾们激辩编程的未来

13:28 深度碰撞:未来还需要编程吗?

23:47 Nvidia GTC 2023 上有什么值得关注的新产品?芯片技术的下一代创新在哪里

29:38 各个大厂新出的芯片针对LLM做了哪些优化?

36:35 管理训练LLM 的大规模GPU集群有哪些挑战?

47:04 以后我们需要专用的推理芯片吗?

52:17 开源界有哪些降低LLM训练和部署成本的尝试?LLM 成本下降边界在哪里?

59:08 LLM 商业生态的未来:开源 vs 闭源?每个企业都需要自己的LLM吗?

68:50 LLM的发展对于传统的MLOps 工具链各个环节有什么影响?

78:11 LLM 会带来哪些监管和社会影响?

90:37 基础模型越来越强大,上层应用和工具如何创造价值?

100:34 对未来AI发展的期待

我们提到了什么

重要名词(感谢 ChatGPT 帮忙!)

  • Large Language Model:大语言模型,指用海量文本训练的语言模型,如GPT-3等。
  • Foundation Model:基础模型,指一个预训练模型,可以用作下游任务的起点,进行微调和迁移学习。
  • GPU cluster:GPU集群,多个GPU服务器联网,用来提供高性能的并行计算能力。
  • Distributed computing: 分布式计算,在多台计算机上协同完成计算任务。
  • Confidential computing :保密计算,指在不可见和不可获取的方式下处理和分析数据的技术。
  • Computational lithography: 计算光刻,使用计算方法来精确控制光刻过程,以产生更小更复杂的集成电路。
  • Electromagnetic Physics:电磁物理学,研究电磁场及其与物质的相互作用。
  • Photochemistry:光化学,研究光与化学物质相互作用的学科。
  • Computational geometry:计算几何,研究使用计算机算法解决几何问题的学科。
  • Topology:拓扑学,研究空间中两个形状或物体之间连续变形的性质。
  • Stream multiprocessor:流多处理器,GPU中的一种执行单元,包含多个流处理器核心。
  • Inference:推理,指使用训练好的模型对新数据进行预测和分析的过程。
  • Model Serving:模型服务,指提供推理API服务,使训练好的模型可以被应用系统调用。
  • Tensorcore:张量核,NVIDIA GPU中专用于加速机器学习运算的功能单元,如矩阵乘法等。
  • Vector database:向量数据库,存储和查询高维向量数据的数据库。

参考文章

欢迎关注M小姐的微信公众号,了解更多中美软件和AI的干货内容!

M小姐研习录 (ID: MissMStudy)

大家的点赞、评论、转发是对我们最好的鼓励!如果你有希望我们聊的话题,希望我们邀请的访谈嘉宾,都欢迎在留言中告诉我们哦~

展开Show Notes
AliceAndBob
AliceAndBob
2023.4.21
18:46 本期嘉宾写代码的应该不多,纸上谈兵。
gaocegege:可能是因为有人乐观,有人不那么乐观
PP鲁_8M1M:NV的那位应该没写过代码,只做过管理和产品
5条回复
啥时候能考虑换个录音设备,听感不是很好
haitaoyao
haitaoyao
2023.4.25
1:10:57 mlops 只要是 workflow 和 monitoring 两个方向
haitaoyao:llmops 最大影响是workflow 方向,但带来的价值是 ml 的成本更低、ROI 提高
SeraFXY
SeraFXY
2023.4.21
08:43 很有意思的观点,这期不错👍(除了硬件部分英文术语部分好多,不太听得懂😭
Max和未来
Max和未来
2023.4.20
很棒,早晨车上听了一部分
五里坨
五里坨
2023.5.17
30:37 某些国家(狗头)
黑桃杰克
黑桃杰克
2023.4.26
1:13:14 更多机会在monitoring, serving, fine tuning, vector database
jollychang
jollychang
2023.4.23
如果拿 K8s 和云厂商来类比现在的 LLM,现在还在很早的阶段,最终工具要依附/迭代一种新的商业模式/大商业体来赚钱。
做fine- tuning 模型指标测评的公司叫Human look 吗?没有听懂😂
潇逍:humanloop吧
王鹏程_CmIR:Google了下,应该是感谢
_Feng_
_Feng_
2023.4.22
48:02 初次了解到L4和L40的定位和差异,期待这两款芯片能推动图生成和视频生成的商业化
gaocegege:L4 应该不行吧,L4 更像是下一代 T4
_Feng_:T4在文生图的商业中性价比挺高 L4显存扩大后有利于推理场景 训练场景确实要其他显卡
haitaoyao
haitaoyao
2023.4.20
08:04 从高质量、复用的代码,到一次性的代码,让我想到云计算领域 pets vs cattles
Mengyu_gT9T
Mengyu_gT9T
2023.4.30
40:56 说太多太快了,一股脑儿倒出来,缺一些条理
HD610657n
HD610657n
2023.4.23
06:56 这说的什么软件?
莫妮卡同学
:
Shownotes 里面提到的公司
HD610657n:谢谢
alexpunk
alexpunk
2023.4.20
还没听,先呼喊课代表!
莫妮卡同学
:
记下了!
有个单词没听懂,发音类似:invading,英语渣渣跪求解答😁
gaocegege:Embedding,向量的意思
王鹏程_CmIR:谢谢👍👍
cleare
cleare
2023.10.22
这期听感不怎么丝滑
就是顾兜
就是顾兜
2023.5.27
44:01 嘉宾说的有点类似现在超算软件层和硬件层在解决的问题,可以这么理解吗
neeerd
neeerd
2023.5.22
一句话好多“这个这个,给人不通畅的感觉,可以考虑一下控制控制口头禅
五里坨
五里坨
2023.5.17
31:00 这一段听着有一种贵司fae presentation的味,就本着只读白皮书的精神,报菜名一样的报数据,然后一问优化细节啥都不讲。这里我就不放那句linus 名言了,你们对开发者不要太傲慢。
喂鱼oxo
喂鱼oxo
2023.5.10
可以考虑把语气词剪掉,比如“呃”