感知机：Frank Rosenblatt 与会犯错的机器 | 大语言模型前史04 - 原代码

一个研究人的心理学家，为什么要造一台会改变判断的机器？本期《原代码》从 Frank Rosenblatt 的心理学研究出发，跟随一张卡片在训练前后得到的不同回答，理解经验怎样改变模型中的数值；再沿着词语表示和语言模型预训练，看看后来的人如何衡量这项工作的价值。

从一张可以调整的评分单，到一张随训练移动的词语地图：机器能够改变什么，研究者就需要检验什么，而后来方法的用途，也让最初那个关于学习的问题获得了新的观察尺度。

你可在官方网站 yuandaima.xyz 中查看本期逐字稿、证据引用关系和证据快照。

时间轴

00:00 研究人的人，为什么造机器

02:08 让机器改口：训练改变了什么

05:08 再练一遍，也未必能解决

07:40 分对了，然后呢：分类装置与脑模型

10:51 词语之间，能不能借用经验

14:02 先从文本练习，再把所学用于更多任务

17:00 后人记住了什么：问题、方法与历史

20:53 再把那个输入交给机器

- [Frank Rosenblatt：The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain（1958）](homepages.math.uic.edu)

- [Frank Rosenblatt：Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms（1961 年技术报告）](archive.org)

- [Joe Pater：Generative Linguistics and Neural Networks at 60: Foundation, Friction, and Fusion（2018 年待刊稿）](people.umass.edu)

- [Melanie Lefkowitz / Cornell Chronicle：Professor's Perceptron Paved the Way for AI - 60 Years Too Soon（2019）](news.cornell.edu)

- [Yoshua Bengio、Réjean Ducharme、Pascal Vincent、Christian Jauvin：A Neural Probabilistic Language Model（2003）](jmlr.org)

- [Alec Radford、Karthik Narasimhan、Tim Salimans、Ilya Sutskever：Improving Language Understanding by Generative Pre-Training（2018）](cdn.openai.com)

- [OpenAI：GPT-4 Technical Report（2023）](cdn.openai.com)

- 卡片分拣和“杯子 / 碗”句子都是节目自拟的教学例子，用来解释训练和表示；它们不是 Mark I 当年的实验记录。1958 年的软件模拟与 Mark I 实体机器也不是同一件事。

- 本期引用的 Principles of Neurodynamics 是 1961 年技术报告，不是 1962 年书版。Rosenblatt 与团队已经研究过可变的前端连接和多层组织，不能用最简单的感知机示意图概括全部研究。

- 指定纠错程序找到解的保证有明确前提，包括当前分类存在可实现的解、训练输入持续重现。训练例子分对，不等于新情境表现已经得到保证，也不等于模型充分解释了大脑。

- Richard O'Brien 的评价来自 Cornell 2019 年文章对早年悼念讲话的转引；Thorsten Joachims 的意见来自该文采访。本文与 Joe Pater 的学术回顾提供不同评价角度，不能替代全部技术史证据。本期未剪入第三方历史原声。

- 对 Marvin Minsky 与 Seymour Papert 著作及其影响的讨论，采用 Joe Pater 的有归属回顾，不作“一本书单独终结神经网络研究”的判断。后来的语言模型论文说明方法怎样工作，不证明 Rosenblatt 预见了今天的模型，或全部原始脑机制设想已经实现。

- 文本预测中的目标来自原文，不是对事实的最终判决；对话里的纠正改变了上下文，也不能单凭一次改口就推断模型即时更新了参数。