【第641期】MEMO：大语言模型的模块化知识记忆框架

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。
合作邮箱：zhiwudazhanjiangshi#gmail.com

今天的主题是：

MEMO: Memory as a Model

Summary

大型语言模型（LLMs）在广泛的任务中都取得了强大的性能，但在预训练之后、进行后续更新之前，它们始终保持着冻结状态。许多现实世界的应用都需要及时、特定领域的非公开/特定信息，这激发了对高效整合新知识机制的需求。

在本文中，我们引入了 MeMo（模型即内存，Memory as a Model），这是一个模块化框架，它将新知识编码到一个专用的记忆模型中，同时保持 LLM 的参数不变。与现有方法相比，MeMo 具有以下几个优势：

• (a) 它能够捕获复杂的跨文档关系；

• (b) 它对检索噪声具有鲁棒性；

• (c) 它避免了 LLM 中的灾难性遗忘；

• (d) 它不需要访问 LLM 的权重或输出对数几率（logits），从而实现了与开源和专有闭源 LLM 的即插即用集成；

• (e) 在推理时，其检索成本与语料库大小无关。

我们在 BrowseComp-Plus、NarrativeQA 和 MuSiQue 三个基准测试上的实验结果表明，在各种不同的设置下，MeMo 与现有方法相比均取得了强劲的性能表现。

原文链接：arxiv.org