一块专门打游戏的显卡,怎么成了训练大模型的发动机?这一集讲透三件事:
1、GPU和CPU到底差在哪。CPU是几个什么都会的老教授,GPU是几千个只会加减乘除的笨学生——单个平庸,靠人海战术碾压。画图是海量互不干扰的像素计算,神经网络是海量重复的矩阵乘法,数学结构上几乎是同一回事。这个没人计划过的巧合,是整个AI革命的地基。
2、2012年的卧室点火。Hinton带着两个学生,用两块游戏显卡GTX 580、不到一万美元,在卧室里训出AlexNet,ImageNet比赛一步跨出十个百分点,一夜终结了手工调参的时代。
3、从显卡公司到五万亿帝国。数据中心收入已是游戏的12倍,独立GPU市占约92%。
但真正的护城河不在芯片里,在代码里——下集讲CUDA:那条修了十年没人走的高速公路。

