4885
17近3小时的硅谷AI重磅嘉宾现场对谈，下集光速奉上！如果你还没有听过上一期，赶紧去补课！
Hello World, who is OnBoard!?
简单介绍一下这次Monica 期待已久的嘉宾组合！ 两位都在OpenAI工作过的技术大牛，包括Nvidia资深研究员 Jim Fan, 除了对生成式agents 和机器人的具身智能有深度研究外，他的Twitter 连 Jeff bezos 都关注，是AI领域全球范围内的顶级大V。另一位嘉宾戴涵俊，Google Deepmind 的资深研究员，也是 Google 新一代大语言模型的深度参与者。最后，兼任主持和嘉宾的硅谷上市公司华人高管，硅谷徐老师, 每次来 Onboard! 串台都大受好评。
这是三个小时播客的第二部分。上一期的内容，我们深度讨论了最近AI领域最火的话题，Generative Agents, 生成式代理。这一期更是精彩纷呈，包含了AI领域更多核心话题，包括多模态大模型的研究进展，具备具身智能 embodied AI 的机器人如何打造，AI对saas的影响，我们对未来AI的商业和社会畅想等等。真的是非常尽兴的讨论，你也可以拿起笔记本做笔记了。
几位嘉宾都是长期在美国工作生活，夹杂英文在所难免，不接受抱怨。Enjoy!
嘉宾介绍
- Jim Fan（推特：@DrJimFan），Nvidia 高级 AI 研究科学家，曾在OpenAI工作，Stanford PhD 李飞飞实验室
- 戴涵俊（推特：@hanjundai），Google Deepmind 资深研究员，深度参与 Google 大语言模型项目，曾在OpenAI工作，Georgia Tech PhD
- 硅谷徐老师（推特：@h0wie_xu），硅谷连续创业者、人工智能高管、斯坦福商学院客座讲师，「科技早知道」主播 ｜微信公众号：硅谷云｜ AI博客：howiexu.substack.com
- 主持：Monica（推特：@Monica_XieY）：美元VC投资人，前 AWS 硅谷团队+AI创业公司打工人，公众号：M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学
我们都聊了什么
01:55 为什么 Jim 觉得 Llama 2 作为语言模型，对于多模态模型和机器人有重大推动
05:24 Hanjun 解读多模态大模型的两种实现方式
07:47 多模态大模型只是解锁了新的场景，还是能更大提升大模型本身的智能？如何理解大模型的智能？
12:34 为什么说机器人的多模态问题更有挑战？
16:35 处理多模态训练数据有哪些难点？
18:12 大模型训练还需要哪些工具？Infra/tooling 有哪些机会？
19:51 亲历OpenAI 的经历回顾和感受：2016-2020，OpenAI 都发生了什么
25:11 OpenAI 近年的发展，哪个时刻震撼了你？
34:20 为什么说 Evaluation 是大语言模型最被低估的挑战之一？
39:54 未来1年和未来10年，你最期待人工智能领域带来什么？
46:17 我们自己和下一代应该如何为未来做准备？
59:33 有趣的 closing 和未来展望：被 Jeff Bezos 关注是什么感觉？！
我们提到的内容
- Llama 2: Meta 开源的大语言模型
- Jim Fan 对于Llama 2 的解读
- OpenAI 赢得DOTA 游戏比赛
- LSTM (Long Short-term Memory)
- Jim Fan 对大猩猩玩Minecraft 的解读
- DALL-E 2: DALL·E 2 is an AI system that can create realistic images and art from a description in natural language (by OpenAI)
- CLIP: Connecting text and image
- ImageNET: an image dataset organized according to the WordNet hierarchy.
- AlexNET: ImageNet Classification with Deep Convolutional Neural Networks
重点词汇
- RLHF (Reinforcement Learning with Human Feedback): 人类反馈的强化学习 - 一种AI模型通过人类反馈与传统的强化学习结合来学习的方法。
- Fine tuning: 微调 - 在特定的数据集上进一步训练预训练的机器学习模型，使其适应特定任务的过程。
- Hallucination: 幻觉 - 在AI中，指的是模型生成不在输入中的信息，可能导致输出不准确。
- Multi-modal model: 多模态模型 - 能够理解和处理多种类型数据（如文本、图像和声音）的模型。
- Auto regressive model: 自回归模型 - 一种统计模型，它使用一个变量的过去值来预测其未来值。
- Diffusion model: 扩散模型 - 用于描述信息、疾病或创新等东西如何在群体中传播的模型。
- Tokenize: 分词 - 将文本分解成更小的部分（如单词或子词）的过程，通常在文本处理或自然语言处理中使用。
- Intuitive physics: 直观物理 - 人类对物理现象的直观理解，例如物体如何移动或互相碰撞。
- Embodied AI: 具体化的人工智能 - 通过物理或虚拟的身体与环境互动的AI系统，例如机器人或虚拟代理。
- CVPR (Computer Vision and Pattern Recognition): 计算机视觉和模式识别 - 专门研究计算机如何“看”并从图像或视频中理解内容的领域。
- Walkaround: 绕行 - 解决问题或障碍的方法
欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！
M小姐研习录 (ID: MissMStudy)
大家的点赞、评论、转发是对我们最好的鼓励！
如果你能在小宇宙上点个赞，Apple Podcasts 上给个五星好评，就能让更多的朋友看到我们努力制作的内容，打赏请我们喝杯咖啡，就给你比心！
有任何心得和建议，也欢迎在评论区跟我们互动~
如果可能会有帮助的话，以下是一些相关的artifacts：
- 关于多模态：https://arxiv.org/abs/2204.14198 是给frozen llm加visual能力，至于原生multi-modal是什么这个可以不提 😅
- 关于openai早先用game来解锁泛化能力：https://openai.com/research/procgen-benchmark 是他们后来build的benchmark，当然这个link主要是考古价值了。