31
0哈喽大家好，欢迎回到《AI有点意思》！我是你们的老朋友小艾。
上两期我们聊了两次AI寒冬。第一次寒冬，符号主义AI因为“常识问题”撞上了南墙。第二次寒冬，专家系统因为“知识获取瓶颈”和“维护灾难”全线崩塌。AI这个词，在1990年代初几乎从主流学术界消失了——没人敢说自己做AI研究，因为拿不到经费、找不到工作、还会被同行嘲笑。
但就在这个“AI已死”的年代，有一个人默默坐了四十年的冷板凳。他相信一条被所有人嘲笑的路——神经网络。今天这一期，我们就来讲他的故事。
他的名字叫杰弗里·辛顿。
辛顿1947年出生在英国一个显赫的科学世家。他的曾曾祖父是乔治·布尔——对，就是那个发明了布尔代数的布尔，现代计算机的数学基础就是他奠定的。他的堂姐是参与曼哈顿计划的物理学家。他的父亲是英国皇家学会的昆虫学家。这个家族，几乎就是一部“英国科学史”。
但你可能会问：出生在这样一个“学霸家族”，辛顿的人生是不是一帆风顺？恰恰相反。辛顿在剑桥大学读本科的时候，换了好几个专业——物理、化学、数学、生理学……他什么都试了，但没有任何一门课能让他觉得“我就是为这个而生的”。更让他沮丧的是，他发现自己“在任何一门课程中，都不是班上最聪明的学生”。
后来他找到了一个方向——心理学。确切地说，他想弄清楚一件事：人的大脑到底是怎么工作的？ 1970年本科毕业后，他没有继续读书，而是跑去当了一年的木匠——做书架、做木门。一边做木工，一边想大脑。一年后，他决定回到学校，攻读人工智能方向的博士。
但他选择的方向，在当时看来简直是“自杀”——神经网络。
1972年，辛顿进入爱丁堡大学，师从希金斯教授。希金斯当时正在研究神经网络。但辛顿入学不久，希金斯就“叛变”了——他改变了自己的学术立场，认为神经网络是“无稽之谈”，转投了当时如日中天的符号主义阵营。
你想想这个画面：你的博士导师，当着你的面说“你做的东西是错的”。希金斯几乎每周都要劝辛顿——转行吧，做符号人工智能，不然你毕业都找不到工作。
但辛顿的回答永远是一句话：“再给我六个月，我会证明这是有效的。”
六个月又六个月，一坚持就是六年。到1978年辛顿博士毕业的时候，他依然没有“证明”什么。但他拿到了博士学位，然后远渡重洋，去了北美。他先去了加州大学圣地亚哥分校，后来去了卡内基梅隆大学，最后在加拿大找到了一个稳定的位置——多伦多大学。
在多伦多大学，他坐了三十年的冷板凳。在很长一段时间里，“神经网络”甚至成了学术禁忌词。辛顿在写论文的时候，不得不用一些含糊委婉的术语来包装自己的研究，以免直接被期刊评审拒收。
在那些最灰暗的日子里，辛顿做过一个预测。他说：“我参与的这个项目，可能要在100年后——在我死后——才会取得成果。 ”
你听听这句话——明知道这辈子可能看不到结果，还在坚持。这不是一般的固执，这是信念。
但转机，其实在他最灰暗的时期就已经悄悄埋下了种子。
1986年，辛顿与大卫·鲁梅尔哈特和罗纳德·威廉姆斯共同发表了一篇里程碑式的论文，标题叫《通过反向传播误差来学习》。
什么是反向传播？小艾用一个简单的比喻来解释。
想象你有一个巨大的机器，里面有几千个可以旋转的旋钮。你要调整这些旋钮，让机器做一件特定的事——比如识别一张图片里有没有猫。你随机转了一通，机器输出一个结果：“有猫”。但正确答案是“没有猫”——它错了。
怎么办？你要知道是哪个旋钮导致了这个错误。反向传播的思路是：从错误的结果往前推——这个错误是因为最后一层的某个旋钮转多了，而这个旋钮又是因为前一层某个旋钮没转够……一层一层往前追溯，像“秋后算账”一样，直到找到所有“责任人”，然后逐一调整。
这个过程听起来复杂，但它的核心思想极其简单——让机器从错误中学习。你告诉它答案对不对，它自己往前推，找到是哪个“旋钮”导致了错误，然后自己调整。
反向传播算法的提出，是人工智能历史上的一个里程碑。它让多层神经网络的学习问题得到了有效解决。神经网络终于不再是“一团乱麻”，而是有了一个清晰的“学习路径”。
但你可能想不到——反向传播论文发表之后，神经网络依然没有立刻翻身。1990年代，支持向量机等新算法盖过了神经网络的风头，再加上专家系统崩塌引发的第二次AI寒冬，神经网络再次被边缘化。辛顿和他的学生们，依然在“冷板凳”上坐着。
他们等了很久，等到两个“迟到”的条件成熟。
第一个条件是大数据。2009年，斯坦福大学教授李飞飞发布了一个叫ImageNet的数据集，里面包含了超过1400万张标注好的图片。神经网络终于有了“吃饱”的数据。
第二个条件是算力。英伟达的GPU——原本是为游戏设计的显卡——被发现特别适合做神经网络训练需要的并行计算。2007年英伟达发布了CUDA编程系统，让GPU能被用于通用计算。
数据和算力这两把钥匙，终于插进了锁孔。
2012年，辛顿已经65岁了。他带着两个学生——亚历克斯·克里切夫斯基和伊利亚·苏茨克维——参加了ImageNet视觉识别挑战赛。
他们的模型叫AlexNet——以学生亚历克斯的名字命名。这是一个深度卷积神经网络，拥有6000万个参数和65万个神经元。
比赛的结果震惊了整个AI界。AlexNet以84.7%的准确率一举夺冠，将Top-5错误率降到了15.3%——比第二名谷歌的26.2%低了整整10个百分点。更夸张的是，他们只用了4颗英伟达GPU，而谷歌用了16000颗CPU。
一夜之间，神经网络从“笑话”变成了“革命”。在长达近40年的冷板凳之后，辛顿终于等到了这一天。
2012年11月，AlexNet的论文正式发表。两个月后，辛顿的邮箱被大公司报价塞满了。他和两个学生临时注册了一家叫DNNresearch的公司，然后举行了一场“拍卖会”。
最疯狂的细节在这里：辛顿因为年轻时帮母亲搬取暖器伤到了脊椎，50岁以后只要坐下超过一个小时，就会导致几周卧床不起。在拍卖现场，他根本不能坐下来谈判。他想了什么办法呢？他把酒店房间的垃圾桶倒扣在桌子上，把笔记本电脑架在上面，站着打字。四家公司——谷歌、微软、百度、DeepMind——通过邮件出价竞购，每轮加价至少100万美元。
当竞拍价从1200万美元一路飙升到4400万美元时，连辛顿自己都觉得不可思议：“感觉像是在拍电影。 ”
最终谷歌胜出。辛顿加入了谷歌，一直做到副总裁。2018年，他获得了计算机科学领域的最高荣誉——图灵奖。2024年，他又获得了诺贝尔物理学奖。
而那两个学生——亚历克斯·克里切夫斯基和伊利亚·苏茨克维——前者成了深度学习领域的重要人物，后者后来成了OpenAI的联合创始人和首席科学家。
辛顿的故事告诉我们一件事：不是所有“正确的路”，一开始都有人走。 有些路，要等很久很久，才会被人看见。
好了，今天这一期我们聊了辛顿和神经网络的逆袭，聊了反向传播算法为什么是里程碑，也聊了2012年AlexNet在ImageNet上那一场“迟到”的胜利。
下一期，小艾要带大家看一场“神仙打架”——辛顿和他曾经的同事杨立昆吵翻了。两个人都是AI教父，但对“AI该往哪儿走”有完全相反的看法。他们到底在吵什么？记得订阅《AI有点意思》，我们下期见！
