第23期丨RNN的长期失忆症

【第23期】AI终于有了记忆，却很快患上了长期失忆症。

这一期我们从Elman网络讲起：为什么只是把“计算结果”换成“隐藏状态”，就让机器第一次在预测下一个词的过程中，自己发现了语法结构？而本吉奥又为什么在1994年指出，简单RNN存在一个残酷矛盾：记得住和学得会，两者不可兼得？

这期是理解RNN、LSTM，以及后来大语言模型的一块关键拼图。

• [00:00:15] 回顾 Jordan 与 Elman 网络的开山地位及其结构差异。

• [00:00:45] 深度类比：为什么“电影好不好看”只是结果，而脑中的“复杂感受”才是灵魂。

• [00:01:35] 揭秘“隐藏状态”：为什么语境判断比上一步的输出更重要？

• [00:02:05] 认知科学家的执着：埃尔曼对乔姆斯基“天赋论”的怀疑与挑战。

• [00:02:35] 迷你的“语言世界”实验：29 个单词与 1 万个句子的奇妙训练。

• [00:03:46] 神奇的涌现：AI 如何在无监督下自行长出一棵“层级分类树”。

• [00:04:42] 跨越 40 年的共鸣：Elman 网络作为大语言模型（LLM）早期微光的意义。

• [00:05:05] 总结：预测序列、在错误中学习与结构的自发形成。