42
0为什么参数多一点、数据多一点，模型就会像突然开窍？为什么在所有人半信半疑时，OpenAI敢把全部身家押在"大力出奇迹"上？这一集，我们讲透大模型浪潮背后最核心的一条规律——Scaling law，规模定律。
一个反常识的发现：模型变聪明其实不是"顿悟"，而是可以被提前算出来的"渐变"；
规模定律的三个变量：参数是脑容量，数据是读书量，算力是学习时间，三者必须平衡；
OpenAI 的理想主义出身：2015年，一群担心AI失控的人，决定自己先造出AI；
GPT 2:15亿参数，因为"太危险"分阶段发布，挤牙膏挤了九个月；
GPT 3:1750亿参数、约460万美元训练成本，一次"先相信再看见"的惊天豪赌；
2022年 谷歌Chinchilla 的提醒：光堆参数走不远，得讲究配比；
规模是答案的一部分，但不是全部。奇迹的账单，迟早要有人来付。下一期，我们走进那个五天聚拢一百万用户的时刻——《ChatGPT时刻》。
