65321
213自从OpenAI 发布的chatGPT掀起席卷世界的AI热潮，不到3个月就积累了超过1亿月活用户，超过1300万日活用户，展现了AI让人惊叹的能力，让人感叹，下一个科技革命终于要到来。于是，这次硬核讨论就来了！
Hello World, who is Onboard!?
这次的嘉宾都是绝对的一线。有 Google Brain 的研究员，Xuezhi, 她是 Google 大语言模型 PaLM (Pathways language model) 的作者之一。还有来自 Stability AI 的技术产品经理，和来自某硅谷科技大厂的AI产品经理，曾任前吴恩达教授的Landing AI 机器学习产品负责人。还邀请到了一位一直关注AI的投资人朋友，Bill，作为主持嘉宾。
我们主要讨论几个话题：从研究的视角，最前沿的研究者在关注什么？现在的技术可能的天花板和大变量会在哪儿？从产品和商业的角度，什么是一个好的AI产品？整个生态可能随着大模型出现有什么演变？最后，Monica 和Bill 还会从投资人的视角，做一个回顾、总结和畅想。
这里还有一个小update, 在本集发布的时候，Google 也对爆发增长的ChatGPT 做出了回应，正在测试一个基于LaMDA 模型的聊天机器人 Apprentice Bard。正式发布后会有什么惊喜，我们拭目以待。
AI无疑是未来几年最令人兴奋的变量之一。我们未来会邀请到更多一线从业者，从不同角度讨论技术演进、商业的可能，甚至未来对于我们每个人和社会意味着什么。不论你是做创业、研究、产品还是投资，或许都能为你提供一些思考。
这次的讨论有些技术硬核，需要各位对生成式AI、大模型都有一些基础了解。讨论中涉及到的论文和重要概念，也总结在 show notes 中，供大家复习参考。其中几位嘉宾在北美工作生活多年，夹杂英文在所难免，也请大家体谅。
欢迎来到未来，Enjoy!
嘉宾介绍
Xuezhi Wang, Google Brain 研究员，Google 语言大模型 PaLM 作者之一。
Yizhou Zheng, Stability AI 产品和工程经理
Yiwen Li, 某硅谷科技大厂机器学习产品经理，前 Landing AI 产品负责人，天使投资人
关于主播
Monica：美元VC投资人，前 AWS 硅谷团队+AI创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学
我们都聊了什么
02:52 嘉宾自我介绍，fun fact: 你们感兴趣的一个生成式AI项目
大语言模型（LLM）的硬核讨论
12:07 Google PaLM 是什么？跟GPT3有什么区别？
15:47 GPT3比起GPT2 的巨大提升是怎么实现的？In-context learning 的机制是什么？
24:02 大模型不断增加参数的过程有什么挑战？还有什么影响模型效果的重要因素？
27:35 模型参数已经到瓶颈了吗？增加模型参数对落地应用有什么影响？
31:13 高质量的训练数据规模会成为模型扩展的瓶颈吗？
37:24 大模型基础上，具体场景的模型训练对数据要求有什么变化？
Stability AI 和开源商业模式
42:59 什么是Stable Diffusion? 跟其他图片生成模型的区别是什么？
55:27 Stability AI 开源商业模式是什么？
59:40 大模型背景下的AI商业模式会有什么变化？
01:08:26 训练成本会如何影响AI产品和基于开源的商业模式？
01:13:13 底层模型提供商会形成类似iOS，安卓这样的生态吗？AI PaaS 生态会如何演变？
实现下一步的可能挑战
01:22:12 What's next: 现在的LLM还有什么瓶颈？基于现有模型的天花板是什么？
01:31:27 大语言模型如何提升能力：多语言的挑战，多模态数据的作用
01:36:32 图片生成模型目前的瓶颈和未来提升的方向
01:39:18 多模态为什么对于模型提升很重要
01:42:37 多模态的难点是什么？
大模型的落地和产品化
01:44:46 What's next: 基于大模型需要不一样的AI开发工具链吗？基础模型提供商会不会提供配套工具？
01:58:48 产品经理如何思考AI的应用场景？
02:03:25 Closing: 嘉宾未来关注的AI发展领域
Monica & Bill 投资人讨论
02:07:05 今天讨论印象深刻的点
02:09:39 这次AI浪潮跟上一波有什么不同？投资人如何评估生成式AI创业公司？
02:14:44 现在是好的投资时点吗？
02:17:03 随着训练成本降低，做模型的企业护城河是什么？
02:20:00 如何看待中国的生成式AI创业机会？
02:25:36 未来让我们兴奋的AI创业机会还有哪些？
提到的公司/项目
- OpenAI
- GPT3
- ChatGPT
- Stability AI
- Stable diffusion
- DALL-E
- Imagen
- Majesty diffusion
- Landing AI
- Midjourney
- Huggingface
- DeepMind
- Apprentice Bard
重要名词
- Large Language Model (LLM)
- Transformer
- Parameter
- Decoder
- PaLM (Pathways Language Model)
- Reasoning
- GAN (generative adversarial network)
- Chain of Thoughts
- Self-consistency
- Fewer shot learning
- CLIP guided diffusion
- Prompt engineering
- PRFAQ
参考文章
- Introducing Pathways: A next-generation AI architecture
- More Efficient In-Context Learning with GLaM
- LaMDA: our breakthrough conversation technology by Google
- Training Compute-Optimal Large Language Models
- Flamingo: a Visual Language Model for Few-Shot Learning
- Language Models Perform Reasoning via Chain of Thought
- Stable Diffusion with Core ML on Apple Silicon
- Deepmind Sparrow: Improving alignment of dialogue agents via targeted human judgements
欢迎关注M小姐的微信公众号，了解更多中美企业服务的干货内容！
M小姐研习录 (ID: MissMStudy)
大家的点赞、评论、转发是对我们最好的鼓励！希望你分享给对这个话题感兴趣的朋友哦~如果你有希望我们聊的话题，希望我们邀请的访谈嘉宾，都欢迎在留言中告诉我们。
免责：节目中的观点都是嘉宾和主持人个人观点，不代表所在机构观点，亦不构成任何投资建议。
