硅幕2 算力大厦的「乌云」:内存何以成为 AI 竞争胜负手?

硅幕2 算力大厦的「乌云」:内存何以成为 AI 竞争胜负手?

55分钟 ·
播放数1857
·
评论数7

存储芯片已不是第一次迎来“好日子”了:从 2020 年的芯片荒,到 2025 年开启的 AI 基建潮,存储芯片一直都是活在周期里的产品。但在中美 AI 竞争的大背景下,这个几乎完全由韩国主导的产业,正在从边缘配角走向核心战场。为什么内存在AI产业中这么重要?为什么AI内存需求会演变成波及手机、电脑等日常电子消费品的内存荒?拥有一个不由中美所主导的产业,对于韩国来说是天赐良机还是幸福的烦恼?

《硅幕》第二期,我们来聊聊芯片层竞争的另一部分,内存。

Part 1:算力是什么? 10:05

AI芯片究竟在算什么?在大部分大模型训练中,一个基本的计算形式是矩阵乘法。这种单次计算很简单,但重复次数极其庞大,因此擅长并行计算的GPU要远胜于CPU,也因此成为AI训练的核心硬件。然而,算力并不是模型训练的全部,围绕在GPU周围的其他要素,如内存,在发挥一种短板效应,制约着算力的理论实现。

图1:一个简单的矩阵乘法示意图,这样的矩阵乘法就是大模型训练的(绝大部分)底层计算形式

Part 2:为什么内存会成为算力的瓶颈?22:20

如果说GPU是一个并行计算能力极强的数学天才,那么内存就是站在这个天才旁边帮她传递试题、记录答案的辅助。在大模型场景中,如果“传递试题”的速度太慢,那么再高的算力都会被内存瓶颈所约束。

这种被称作“内存墙”的现象正在成为AI产业的一道难关,而目前成熟的应对方案被称作高带宽内存(HBM),这是一项被SK海力士牢牢把控的领域。随着英伟达进一步依靠财力霸占整个供应链,存储芯片的产能逐渐向周期长、良品率低、消耗高的HBM转移,而消费级内存则陷入到了供给不足的状态。不仅如此,像 Cerebras 这样的英伟达潜在挑战者,如今也不得不在台积电和海力士的产能队列中排队等待。

图2:当前韩国主要股指中的市值分布,SK海力士和三星电子占据了半壁江山

图3:处理器性能与内存性能的发展之间,存在着愈发扩大的鸿沟

Part 3:韩国:向“K半导体”要红利 44:17

韩国在过去几十年里积累了雄厚的制造业底蕴,但始终没有培育出像英伟达或稀土那样具有战略分量的产品。高带宽内存的爆发,或许正是韩国期待已久的机会。然而,想要依靠内存获得对外政策话语权并不容易,因为美国的技术管辖已经深度嵌入韩国半导体产业,一些韩国国内的声音也因此转而主张更加贴近美国,以换取技术与产业流动的稳定。

在社会层面,围绕“AI红利”是否应该被共享的争论也愈发激烈。左派的李在明政府与保守派针锋相对:一方主张红利必须由国民共享,另一方则坚称政府干预会伤害企业竞争力。海力士给员工的慷慨福利引发了社会层面的广泛讨论,三星电子罢工则正是在这一背景下进一步发酵。AI红利中的韩国面临“幸福的烦恼”,但这只是AI社会复杂影响的一个开端。

图4: 5月20日,三星电子劳资双方在李在明政府的协调下达成了初步协议

展开Show Notes
江军
江军
2天前
支持,博主讲的挺好的
HD238551l
HD238551l
1 天前
谢谢博主
HD23469z
HD23469z
2天前
算力是一个产业体系
谢谢博主
Y_QmAc
Y_QmAc
2天前
还没开始听,先留言支持下主播,辛苦啦
感谢博主!最近也在学习ai产业链,博主深入浅出的讲解弥补了我的一些疑问。
终于等到了第二期