英伟达、Sora 与 AI 的三种核心叙事逻辑 | 对谈莫傑麟

英伟达、Sora 与 AI 的三种核心叙事逻辑 | 对谈莫傑麟

39分钟 ·
播放数30666
·
评论数81

Sora 我想了很久该怎么讲,也问了一些人,但其实技术层面的解读已经很多了,产品上也没有开放,再去赘述也没什么意思,本质上 Sora 还是模型能力的一种延续,所以在这期里,我们把 Sora、英伟达 等统一到了一个大的叙事逻辑之下来讨论。

我们讲了 Sora 的意义和影响是什么,英伟达持续飙涨的背后原因是什么 (以及是否可持续?),还讨论了 AI 世界 (尤其是海外) 到底在发生什么,以及在这个叙事下不同阶段的逻辑、可能产生的变化是什么。相信听完这期播客,大家都能从宏观上对整体的 AI 发展有一个把握,再去看各种新模型、新热点也都能有更好的对号入座的理解。

如播客中所讲,我们目前其实是处于 1.0 时代到 1.5 时代的交替过程中,我们也十分期盼 2.0 时代 AI 真正爆发的到来。

【人类博物馆】

导游:曲凯,42章经创始人

九号珍藏:莫傑麟,家族办公室资深从业者

时光机】

  • 1:33 如何理解 AI 市场的核心逻辑?
  • 1:42 AI 1.0 阶段的叙事逻辑:Scaling law
  • 4:41 AI 1.5 阶段的叙事逻辑:Scale in & Scale out
  • 5:56 AI 2.0 阶段的叙事逻辑:应用的大爆发
  • 9:28 AI 应用目前处于一个试探玩法的阶段
  • 11:10 国内这波创始人的质量是相当高的
  • 12:51 AI 投资的三种表现
  • 19:16 评估英伟达的股价,要同时具备微观、中观、宏观三种视角
  • 21:20 贪吃蛇与俄罗斯方块的游戏
  • 22:23 大公司与创业公司的博弈像一场「球球大作战」的游戏
  • 29:57 国内大模型和 OpenAI 之间的差距到底是在缩进还是在拉远?
  • 31:31 关于 Sora 的几点启发
  • 33:12 Sam Altman 是面壁人,Elon Musk 是破壁人,Jensen Huang 是真正的受益人
  • 35:24 行业开始洗牌,谁领先,谁出局,会是今年的核心看点

The gang that made this happen】

  • 制作人:Celia
  • 剪辑:思娜
  • 片头 bgm:Mondo Bongo - Joe Strummer & The Mescaleros

【Reference】

为什么我们开始乐观?关于经济发展的明线暗线、AI 与最佳实践 | 对谈莫傑麟

最后,我们的 AI 私董会也在持续报名中,目前已经聚集了一批市场上最好的 AI 创始人,欢迎点击链接报名(里面也有目前已加入的成员名单,可点击查看)

展开Show Notes
JonathanYip
JonathanYip
2024.3.03
23:15 坐标国内某大厂,我们在硅谷调研了3次,最后的结论和嘉宾的结论完全一致,就是虽然很多技术我们也不懂,但能够依靠现有资源做的事情都先做,两期听完觉得嘉宾真的信息输入质量非常高

正好我是在云计算行业,我解释下什么是scale in(这是第一次在自媒体听到这么专业的词);这是云计算的terms,scale in指压缩能力强,scale out指压缩能力弱,比如Sora和现在llm算法一个核心的算法能力是压缩能力,没有压缩能力的算法实质上会被scaling law淘汰,因为今天的算法不只是考虑软件,而是要考虑硬件和存储,实际上scaling law这个阶段大部分是来自于transformer和硬件,存储问题很难解决,sora的惊艳表现很大程度上复用transformer得到了加速和压缩能力

再一次说:很专业和准确
Frank_Xie:我去问kimi chat对这两个概念的理解,它的回答似乎是另一层意思? 发出来参考:在AI领域,尤其是在讨论大模型和Scaling Law(规模法则)的语境下,"scale in"和"scale out"通常指的是两种不同的扩展策略: 1. **Scale In(向内扩展)**: - 这通常指的是增加单个模型组件的规模,例如增加模型的深度(层数)、宽度(每层的单元或神经元数量)或参数数量。 - 在这种情况下,模型的复杂性和计算需求增加,但模型的数量保持不变。 - Scale In 可能会导致模型性能的提升,但同时也可能增加过拟合的风险,并可能需要更多的计算资源和训练时间。 2. **Scale Out(向外扩展)**: - 这指的是通过增加计算资源来扩展模型的能力,例如使用更多的GPU或TPU来并行化模型的训练和推理过程。 - 在Scale Out中,模型的单个组件可能保持不变,但通过分布式计算,可以同时处理更多的数据或执行更多的模型副本。 - 这种方法可以提高模型的训练效率和推理速度,尤其是在处理大规模数据集时。 在Scaling Law的背景下,研究者们发现,通过增加模型的规模(Scale In)和/或计算资源(Scale Out),可以系统地提高模型的性能。这种关系通常表现为模型性能与模型规模、数据量和计算量之间的幂律关系。这意味着,为了获得最佳性能,通常需要同时考虑这两种扩展策略。然而,Scaling Law也表明,在固定模型总参数量的情况下,调整模型的具体结构(如层数、深度或宽度)对性能的影响相对较小。
HD991616o:是的,我们一线的体感是,如果再不投入去“懂”,压缩、加速度等等方面会积累越来越多的劣势
7条回复
JennyTsu
JennyTsu
2024.3.03
硅谷这边已经暗流涌动了,身边的朋友要么去xai和苹果,要么去字节,也没什么人再提Anthropic了,建议放到podcast,质量很高 👍
耶律阿保哥:很好的信息输入,期待下一个AI手机的样子
脆皮Crisp:变化真快,今日之际又想从听下这期,再次思考下 OpenAI 是否是在拉大差距。
5条回复
HD991616o
HD991616o
2024.3.03
07:39 被北京同事转给我,听了1/3,忽然理解了某领导为什么年初开始这么大刀阔斧…. real 强🧱
Jason1996:26:57 兄弟,我们好像是被同一个人转的 😂,我的感受和你一样
马修见莱濑:32:29 我来+1 楼上的同事们好
8条回复
23:09 球球大作战那个比喻也太棒了吧
曲凯
:
我也觉得🫢
17:41 从同事群看到,这是我听过讲sora我最认同的公开评论,sora只是多模态的一个过程产物,真正的难点在于工程上设计了怎么样的结构去获得一段时间的最优,这个设计或者技术的创新OpenAI不对外公布,很多公司很可能是摸不出来的,工程优势是无数最聪明的大脑组合起来的向前看,就每项技术可能都能读懂,但这不等同是能做出来?主讲人说是做投资管理,我理解是VC?
琳琳Celia:他是在做资产配置,更多focus在二级市场~
17:57 美国VC很fomo 这是我现在的感受 听到对AI很好的一期,不少创业者和投资人以大厂的动作或者加入某个大厂为支点

1-模型算力,秀肌肉和未来
2-更多人追赶、站队,不仅是秀肌肉
3-直到出现新的应用信号
曲凯
:
我看最近的upfront投资人大会上也有些人在反思这个热潮,但总的来说,海外投资生态真的很像我们2010年初的时候,咖啡馆都是谈ai和创业的那种
JonathanYip
JonathanYip
2024.3.04
37:31 我今天又听了一次,想补充一下,1.5叙事这个形容很巧妙,当软件赶上了,会发现可能基础设施、硬件是赶不上的,sora的最终成功哪怕不是Openai也一定是软硬件工程最强,这么去看1.5所指向的Scaling law和1的Scaling law内涵是不同的
35:07 好奇嘉宾是不是认识我们学校的刘子纬教授 听到了sora解读上很客观的解读 刘教授之前主要研究视觉 他的解读也是放在成本和速度 虽然算法可以做 但是怎么做到scaling 99%的公司是会倒下的
Howhow11
Howhow11
2024.3.10
嘉宾认知很高!scale in/up 是指把LLM做得更智能,做快, 先做大再做压缩。这是openai 最擅长的。scaling law还有一个维度是scale out 是把除了LLM外的其他ML都做大 做得更强,大家都只关注了scaling law的前者而忽略了scaling law的后者。后者的意义也许比前者大得多。后者与Jensen Huang 得accelerated computing不谋而合!
陈不撕
陈不撕
2024.3.03
字节无疑是一个创业者警惕的对手。虽然他们速度 人才 资金都很强,但聊下来,他们还是奔着能做“最大”的东西去的。切入点和速度可能和创业者一样灵活,但是对天花板会有更多要求。
曲凯
:
听说最近他们也很焦虑
JASting
JASting
2024.3.03
10:09 目前AI应用时代是探索玩法、沉淀范式的阶段
JASting
JASting
2024.3.03
05:10 领路者相信 Scaling law(只要资源持续投入一定会有技术进步一定会有大规模应用),也在牵引资本市场持续投入。23年是scaling law1.0时代,投资在大模型。24年最大的看点是scaling law演进过程中,现有产品会scale in 或out分别是谁。同时大部分人对未来更期待2.0的信号,2.0 时代就是关于应用,24年的投资会更多在应用层。
HD132779l
HD132779l
2024.3.21
29:04 参加GTC 回来mark这一期 大量预言 在GTC现场被很多朋友提到
HD132779l
HD132779l
2024.3.11
38:35 从杨植麟讲Sora那期过来,我之前在播客提到的某个大厂,提到的scale out,这个是每一次硬件的迭代中硬件厂商的收敛阶段,也就是靠采购算力来提高产出,简单来说模型本身在这个阶段或者场景中的重要性变弱,比如手机、电脑、甚至部分游戏都是这个曲线,真的很强的分析 👍
Jason1996
Jason1996
2024.3.03
26:05 好奇 嘉宾是tt的吗? 👍👍
曲凯
:
他不是,但你们是新加坡tt的吗?哈哈哈
Joosting:哈哈这个提问逻辑性好强
willwangtf
willwangtf
2024.3.24
Scaling law 描述的是在系统规模变化时,系统的性质或行为如何随之变化的规律。这些规律在物理学、生物学、经济学等多个领域都有应用。Scaling laws 并不一定意味着边际递减,它们可以是线性的、亚线性的(边际递减),也可以是超线性的(边际递增)。

1. **线性Scaling Law**:如果一个系统的某个性质随着系统的规模线性增长,那么这个系统遵循线性的Scaling Law。例如,一个城市的总能量消耗可能与其人口数量成正比。

2. **亚线性Scaling Law(边际递减)**:在某些情况下,随着系统规模的增加,系统的某个性质增长得更慢。这种情况下,系统的边际效益是递减的。例如,大城市的基础设施(如道路、医院)的增加可能无法与人口增长保持同步,导致人均基础设施的减少。

3. **超线性Scaling Law(边际递增)**:在其他情况下,系统的某个性质可能随着规模的增加而加速增长,这意味着边际效益是递增的。例如,一个城市的创新活动可能随着人口的增加而加速,因为更多的人意味着更多的交流和合作机会。

总的来说,Scaling law 描述的是规模效应,它可以是递增的、递减的,也可以是恒定的,具体取决于系统的性质和所遵循的规律。

这次AI是哪一种?
曲凯
:
为梦想窒息型
Jasmine_O1aJ:不要闹😂
我最喜欢的歌!!!
HD946332n:片头歌名叫什么呀?谢谢!
琳琳Celia:Mondo Bongo - Joe Strummer & The Mescaleros
37:54 能不能准确定义一下什么是 scale out ,scale in 啊?有个 scaling law 就开始自己生造词,也太别扭了 🤦‍♂️
JonathanYip:可能你不是这个行业的,这是云计算的terms,scale in指压缩能力强,scale out指压缩能力弱,比如Sora一个核心的算法能力是压缩能力,没有压缩能力的算法实质上会被scaling law淘汰
滑滑滑滑水:“量子纠缠”都用上了😅
4条回复
32:29 讲得真好啊 好像一名很资深的工程师
琳琳Celia
琳琳Celia
2024.3.03
我好奇,如果不和Open AI来比,只是看整体的AI发展的话,国内和美国比是不是也是在拉远的?
曲凯
:
我看越多海外的文章就越觉得其实两边的关注点、遇到的问题都是非常类似的,不存在特别明显的区别,可能最大的区别就是在芯片和大模型最底层的技术和能力实现上