280
0📝 本期播客简介
本期我们克隆了：AI Engineer · The unreasonable effectiveness of BM25 for agentic search — Jo Kristian Bergum, Hornet.dev
原内容更新时间：2026-09-16
在 AI Engineer 的节目中，Hornet.dev CEO Jo Kristian Bergum 分享了他对 BM25 和 Agent 式搜索的判断：BM25 这个拥有数十年历史的经典文本检索评分算法并没有发生根本变化，真正变化的是使用它的用户。如今的 LLM 掌握大量实体、公司、日期和产品标识知识，能够构建更长、更具体的查询，还能连续发起多轮搜索。
节目从 Agent 式搜索的定义讲起，解释模型、测试框架和检索引擎如何共同构成 Agent 循环中的搜索系统。Jo Kristian Bergum 结合 BrowseComp+ 基准测试说明，深度研究任务的瓶颈往往不在模型推理，而在查询组织能力与检索质量；即使模型能力足够强，有限的上下文窗口仍然要求系统决定哪些信息值得放进去。
后半部分聚焦 BM25 的实际价值：精准匹配对人名、实体、邮编和 SKU 等信息依然重要，模型也更容易理解字面匹配的结果。Jo Kristian Bergum 还介绍了将检索结果放入文件系统工作区的思路，让 Agent 通过 Grep、ripgrep 等熟悉的工具逐步探索文档，并讨论了为什么传统的单次查询和 NDCG 评估已经难以完整衡量 Agent 式搜索。
👤 本期嘉宾
Jo Kristian Bergum 是 Hornet.dev 的 CEO，在搜索和检索领域拥有 20 多年经验。他长期关注信息检索基础设施、BM25 以及 Agent 式搜索，正在 Hornet.dev 为 Agent 搭建检索基础设施。本期分享的价值在于，他没有把 BM25 视作过时的传统方法，而是从用户形态变化、模型能力、上下文窗口和端到端任务完成度出发，重新解释了经典检索工具为何适合今天的 Agent。
⏱️ 时间戳
Agent式搜索基础
BrowseComp+揭示检索瓶颈
检索基础设施的新范式
🌟 精彩内容
💡 BM25 没有变，使用者变强了
BM25 之所以重新变得有用，并不是评分函数本身被重新发明，而是 LLM 已经成为一种远比人类强大的搜索用户。它能理解上下文、识别实体，并构建更复杂的查询。
"BM25 并没有变。它还是原来的评分函数，但这里的变化其实是我们迎来了更强大的使用者。"
💡 Agent 式搜索发生在 Agent 循环内部
Agent 式搜索不是单独执行一次搜索，而是模型为完成任务不断提出信息需求、调用工具、阅读结果并重构查询的过程。
"我的定义是，Agent 式搜索本质上就是在 Agent 循环内部进行的搜索。"
💡 检索，而不是推理，可能才是瓶颈
BrowseComp+ 的结果表明，只要把回答所需的证据文档直接放进上下文，模型准确率就很高；一旦让模型自行使用搜索工具，准确率会受到查询组织能力和检索质量的影响。
"所以瓶颈不在推理能力。"
💡 上下文窗口仍像一张软盘
即使模型的上下文窗口已经很大，质量也不会无限增长。检索系统的核心任务，仍然是从海量文档中筛选出真正值得放进上下文的信息。
"所以你需要检索，去把真正需要放进上下文窗口的信息抓取出来。"
💡 精准匹配对 Agent 依然重要
模型知道人名、实体、邮编和 SKU 等具体信息，而这类信息不一定适合被 Embedding 模型充分表达。BM25 的字面匹配简单、便宜、可解释，也方便模型根据返回结果调整查询。
"而且精准匹配依然有用，对吧？因为模型知道人名、实体、邮编、SKU 等等。"
💡 检索结果可以变成 Agent 的文件系统
与其只把结果呈现为传统的十条蓝色链接，不如把文档放入工作区，让模型先查看标题和摘要，再使用 Grep、ripgrep 等工具按需读取内容。
"如果你把这个工作区组织成文件系统，就能利用上跟技能相关的那套机制。"
💡 Agent 时代需要重新评估搜索
传统信息检索往往围绕一次查询、一份排序列表和 NDCG 展开，但 Agent 能够改写查询、连续搜索和扩展信息，因此更重要的指标是它能否完成最终任务。
"所以很多经典的信息检索评估现在差不多失效了。"
💡 要问的不是“BM25 行不行”，而是“哪个 BM25”
BM25 的参数、实现和性能差异都会显著影响结果。在 Agent 式搜索中，模型能够理解字面匹配，也能把 BM25 和 Grep 组合起来，因此简单原语可以形成强大的检索范式。
"第二点，你指的是哪个 BM25？"
🌐 播客信息补充
本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的
使用 AI 进行翻译，因此可能会有一些地方不通顺
