点单时说了少糖,等到最后加糖,机器怎样才能用上最早的要求?本期《原代码》从 Sepp Hochreiter 对训练困难的追查出发,沿着他与 Jürgen Schmidhuber 的 LSTM 设计,以及 Felix A. Gers 等人的遗忘门工作,走向长上下文、检索与今天的 agent 记忆。
从等着做的一杯茶,到后来改成七点的聚餐:留下一条信息,怎样才能让下一次行动做得更对?
你可在官方网站 yuandaima.xyz 中查看本期逐字稿、证据引用关系和证据快照。
时间轴
00:00 答案在最后
00:29 把困难追到回传路径
04:01 留下来,也要能使用
08:47 回到论文,怎样算记住
10:32 下一轮,谁让记忆重新开始
13:11 聚餐改到七点,日历填几点
21:34 那杯少糖的茶
本期资料
- [Hochreiter:Untersuchungen zu dynamischen neuronalen Netzen(1991,学位论文)](people.idsia.ch)
- [Yoshua Bengio、Patrice Simard、Paolo Frasconi:Learning Long-Term Dependencies with Gradient Descent is Difficult(1994,作者手稿)](www.cs.cmu.edu)
- [Sepp Hochreiter、Jürgen Schmidhuber:Long Short-Term Memory(1997)](ml.jku.at)
- [Felix A. Gers、Jürgen Schmidhuber、Fred Cummins:Learning to Forget: Continual Prediction with LSTM(2000,作者目录与全文入口)](prof.bht-berlin.de)
- [Alec Radford 等:Improving Language Understanding by Generative Pre-Training(2018,后来称为 GPT-1)](cdn.openai.com)
- [Patrick Lewis 等:Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks(2020 工作,论文 v4)](arxiv.org)
- [Nelson F. Liu 等:Lost in the Middle: How Language Models Use Long Contexts(2023,v1)](arxiv.org)
- [Di Wu 等:LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory(2024,v1)](arxiv.org)
- [Yiting Shen、Kun Li、Wei Zhou、Songlin Hu:Mem2ActBench: A Benchmark for Evaluating Long-Term Memory Utilization in Task-Oriented Autonomous Agents(ACL 2026)](aclanthology.org)
源码与工程记录
- [Google:Our next-generation model: Gemini 1.5(2024,长上下文与事实找回测试)](blog.google)
- [OpenAI Cookbook:Building Reliable Agents with Memory and Compaction(2026,含可复查的 notebook 示例)](developers.openai.com)
- [Anthropic:Built-in memory for Claude Managed Agents(2026,文件式记忆说明)](claude.com)
访谈与历史原声来源
- [Eye on AI #232:Sepp Hochreiter: How LSTMs Power Modern AI Systems(2025,Craig S. Smith 访谈)](aneyeonai.libsyn.com)。本期两段原声均来自这场访谈,分别讲述他追查训练困难的回忆,以及记忆单元中按系数一回传的设计目标。
说明与延伸阅读
- 1991 年的训练困难分析、Hochreiter 与 Schmidhuber 的共同设计,以及 Gers、Schmidhuber、Cummins 的后续工作,是不同阶段的贡献。遗忘门已有 1999 年会议稿,2000 年发表长篇论文;不能把后来常用的全部结构都放回 1991 年,或归为一个人的一次发明。
- 少糖点单、点单卡和聚餐日历都是节目构造的解释情境。原论文检验的是有明确条件的人工时序任务,没有做买茶或日历实验;真正的 LSTM 单元保存数值,点单卡不是它实际存放的文本文件。
- 前向保留状态,与训练时把错误向早先步骤回算,是两个方向的问题。受保护的是单元内部的特定路径,不意味着全网络梯度恒定;遗忘门调节运行状态,也不等于删除训练学到的连接。
- 更长的上下文、外部检索与跨会话文件各自改变不同环节。把材料放得下、找到有关记录、识别后来修订,以及把七点填进日历,需要分别检查;它们不是同一种记忆机制。
- 当代部分依据本期截至 2026 年 10 月 20 日核对的公开材料,研究结果按各自模型、任务和实验条件理解。Gemini 的事实找回、RAG 的开放问答、LongMemEval 的互动测试与 Mem2ActBench 的工具参数指标,不能合成统一的记忆排行榜;参数 F1 也不是端到端任务成功率。
- 2025 年访谈是研究者事后的回忆。节目用它呈现追查困难与提出设计目标的声音,机制、日期和共同贡献则与原始论文交叉核对,不把口语概括当成所有循环网络都不能记忆的定律。

