检索增强生成模型 (RAG)

这篇研究论文介绍了检索增强生成（RAG）模型，这是一种结合了预训练参数化和非参数化记忆的语言生成方法。该研究探索了两种RAG模型：RAG-Sequence和RAG-Token，它们通过神经检索器访问维基百科的密集向量索引作为非参数记忆，并使用预训练的序列到序列模型作为参数记忆。通过在各种知识密集型自然语言处理任务上进行微调和评估，包括开放域问答、抽象问答、问题生成和事实核查，研究表明RAG模型在多个基准测试中取得了最先进的结果，并且比纯参数化模型生成了更具体、多样和符合事实的语言。此外，该研究强调了可热插拔的非参数记忆的优势，允许轻松更新模型的知识，而无需再训练，并讨论了该方法的社会影响。arxiv.org