5
0今天的这篇的主题是： STAIR (STructure Aware Information Retriever): A novel dataset and LLM based retriever for document structure augmentation
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。
如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。
联系小助手微信：eccstartup（加群/投稿论文）
Summary
检索增强生成（RAG）是利用大型语言模型（LLM）生成准确且无幻觉回答的关键组件。尽管 LLM 在处理长上下文方面的能力正在不断提升，但仍面临“迷失在中间”（lost in the middle）的问题。因此，精准且准确的检索至关重要。现有的检索器通常将长上下文切分为基于固定长度的易处理文本块——这一过程丢弃了语料库中丰富且富含信息的语义全局结构。
我们提出了一种名为 STAIR 的新型检索系统，该系统使 LLM 能够利用语料库中的全局结构（如目录结构/ToC），从而在其模型参数中高效地存储和检索信息。我们对经过微调的可微搜索索引（DSI）系统进行了深入细致的消融实验，结果表明，目录结构有助于构建低幻觉（低于 0.05%）的生成式信息检索（IR）系统，并且能够泛化到训练样本极少的示例中。
为了进一步推动这一基于目录结构检索的新兴方向的研究，我们发布了 SearchTome——一个基于 6 个不同领域的 18 本书籍构建的多样化基准数据集。STAIR 在 SearchTome 上取得了 82.6% 的高 Recall@1 评分，显著高于 DSI（76.9%），且两者差异具有统计显著性。此外，STAIR 也轻松超越了其他强基线模型，包括 BM25（59.5%）、DPR（68.7%）以及开箱即用的 Mistral（13.8%）。
原文链接：arxiv.org
