[人人能懂] 黑箱里的秩序，记忆中的断舍离

你有没有想过，AI不仅在学习知识，也在学习如何学习、如何忘记，甚至如何拥有自己独特的“笔迹”？本期节目，我们将看到一个“阅表无数”的AI如何秒解难题，并揭开神经网络训练中那如同“强迫症”般的神秘秩序是如何形成的。我们还会探索一个反常识的发现：为什么让AI学到“顿悟”，反而能让它忘得更快更准？以及AI如何学会“断舍离”，主动过滤记忆来提升自己。最后，我们聊聊如何给开源模型刻上无法抹去的“隐形签名”。准备好了吗？让我们一起潜入AI思想的深水区。

00:00:42 你的表格数据，需要一个“见过世面”的AI

00:05:56 AI训练中的神秘秩序：一把解开“神经网络坍塌”之谜的钥匙

00:11:18 想让机器忘得快，先得让它学到“呆”？

00:16:17 AI的“断舍离”：为什么聪明人要学会忘记？

00:21:49 AI的“隐形墨水”：如何给开源模型刻上无法抹去的签名？

本期介绍的几篇论文：

[LG] Accurate predictions on small data with a tabular foundation model

[University of Freiburg]

www.nature.com

---

[LG] Diagonalizing the Softmax: Hadamard Initialization for Tractable Cross-Entropy Dynamics

[University of Oxford & University of British Columbia]

arxiv.org

---

[LG] Grokked Models are Better Unlearners

[Cardiff University]

arxiv.org

---

[LG] Cache What Lasts: Token Retention for Memory-Bounded KV Cache in LLMs

[JPMorganChase AI Research & Yale University]

arxiv.org

---

[LG] MarkTune: Improving the Quality-Detectability Trade-off in Open-Weight LLM Watermarking

[University of Pennsylvania & CMU & Columbia University]

arxiv.org