【第705期】eContext：让AI学会划重点读长文档

今天的这篇的主题是：ReContext: Recursive Evidence Replay as LLM Harness for Long-Context Reasoning

Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。

如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。

联系小助手微信：seventy3_podcast（加群/投稿论文）

Summary

长上下文的理解与推理已成为在实际应用中部署大语言模型（LLM）的核心需求。尽管近期的 LLM 支持越来越长的上下文窗口，但它们往往无法有效利用输入中已存在的关键证据，这揭示了“上下文接入”与“上下文有效利用”之间存在差距。

在本研究中，我们提出了 RECONTEXT（Recursive Evidence Replay as LLM Harness for Long-Context Reasoning，基于递归证据重放的长上下文推理 LLM 框架），这是一种用于提升长上下文推理能力的无须训练的推理阶段方法（training-free inference method）。RECONTEXT 利用模型内部的相关性信号构建一个以查询为条件的证据池，并在最终生成前对其进行重放，同时完整保留原始上下文。这一递归选择过程在不进行训练、不使用外部记忆库也不剪枝上下文的前提下，实现了证据组织与答案生成的剥离。

此外，我们还基于联想记忆（associative memory）提供了理论分析：将上下文表征为记忆存储，将问题表征为检索线索，将注意力表征为线索-痕迹联结（cue-trace association），并将重放表征为痕迹再激活（trace reactivation）。在上下文长度为 128K 的 8 个长上下文数据集上的实验表明，RECONTEXT 在 Qwen3-4B、Qwen3-8B 和 Llama3-8B 模型上一致提升了证据利用率，并在所有三个基座模型上均取得了最佳平均排名。

原文链接：arxiv.org