【第651期】大模型深度学习：通过离线循环提升推理能力

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

今天的主题是：

Do Language Models Need Sleep? Offline Recurrence for Improved Online Inference

Summary

基于 Transformer 的大语言模型越来越多地被用于长周期任务；然而，它们的注意力机制在处理长上下文时扩展性较差。为了解决这一问题，我们研究了一种类似于睡眠的巩固机制（sleep-like consolidation mechanism），在该机制中，模型会定期将最近的上下文转化为持久的快速权重（fast weights），然后清除其键值缓存（KV cache）。

在睡眠期间，模型会对积累的上下文进行 N 次线下循环处理（recurrent passes），并通过一种学习到的局部规则更新其状态空间模型（SSM）块中的快速权重。在推理过程中，这种做法将额外的计算量转移到了睡眠阶段，同时保持了觉醒时（wake-time）预测的低延迟。

我们在受控的合成任务（包括细胞自动机和多步图检索）以及一个现实的数学推理任务上测试了我们的方法，在这些任务上，常规的 Transformer 以及 SSM-Attention 混合模型均宣告失败。随后我们表明，增加模型的睡眠持续时间 N 可以提升性能，其中在需要更深层次推理的样本上，性能提升最为显著。

原文链接：arxiv.org