EP108 · 智能体临界点、缓存命中率 90%、RAG 类型化合约 · 07-05 早报BestBlogs

EP108 · 智能体临界点、缓存命中率 90%、RAG 类型化合约 · 07-05 早报

13分钟 ·
播放数52
·
评论数0

★ 精讲一 | 个人 AGI 的理想界面是现在使用的界面?OpenAI 总裁:界面将会消失,算力永远不够!我们正处在智能体时代的边缘

来自 51CTO 技术栈

Greg Brockman 用具体信号撑起对智能体时代的判断:OpenAI 内部 Codex 普及率已和 Slack 相当,公关同事用它排活动座位表;模型上下文从 2023 年的 2-4K tokens 涨到 52M。他真正的论点是转折不在新模型,而在从对话式智能走向替你办事的智能体,信任会成为核心产品差异化。算力永远不够、界面将消失这些判断都很扎实,做 AI 产品的人值得细读。

★ 精讲二 | 为什么大模型的缓存命中率能到 90%?

来自 阿里技术

这篇把大模型缓存命中率常年 90% 这一现象讲透了:90% 不是某家厂商的黑科技,而是 KV Cache + Prefix Caching 叠加 agent 式只追加调用模式后的必然结果。文章用命中率约等于 (T-1)/(T+1) 解释会话越长约命中,并指出换模型、改系统提示、路由打散前缀会把命中打到 50%。结尾的反直觉提醒尤其值得读:高命中是整段重发的副产物,真要省钱要在低命中流量上做文章。

★ 精讲三 | 停止从 RAG 返回文本:防止幻觉的类型化答案合约

来自 Towards Data Science

这篇写给企业 RAG 实战派。核心论点:模型必然幻觉,加 prompt 让它别乱编没用,有效的是用类型化 answer schema 当合约,把每字段钉死让模型没发挥空间。文章反复强调一条原则——能确定性计算的就别交给 LLM,金额比较先抽取再在 Python 里算。最反直觉的是完整性这个关键信号故意不问模型,而是靠检索多拉一页 overlap 来判定,因为模型只看眼前页面察觉不到列表被截断。

速览

更多值得关注的内容

· Proof of Human:如何验证一个人是真实且唯一的 — ByteByteGo Newsletter

· Leanstral 1.5:为所有人提供丰富的证明 — Hacker News

· 加拉帕戈斯岛的智能体测试流程、LLM 基准测试及智能体编程相关笔记 — Hacker News

· SGLang 复盘:Coding Agent 开始进入 AI Infra 开发循环 — AINLP

· 文件系统是 Agent 的省钱答案?token 消耗降低 45%,费用减少 39% — 新智元

· a16z 最新一批 AI 项目:AI 创业,开始往脏活、累活里卷了 — 十字路口 Crossing

· Kimi 坐上全球程序员的工位!GitHub Copilot 模型菜单中第一次出现开放权重模型 — 51CTO 技术栈

补充阅读

今天额外值得一读的几条

· 流形约束推理新思路!傅聪团队联合厦大提出 ManCAR,自适应测试时计算带来 46%排序增益 — InfoQ 中文

· GitHub - kerlenton/mcpsnoop:MCP 版 Wireshark。一个透明代理,在你的终端中实时展示 AI 客户端与 MCP 服务器之间的每一次真实工具调用。 — Hacker News

· Vercel 的 Andrew Qu:智能体是一种新的软件形式,Vercel 自身正变成智能体 — Latent.Space(@latentspacepod)

· 快手 AgentX:推荐系统开始自我迭代 — 快手技术

· ICML 2026|让 Agent 真正协同作战:GoS 为多智能体推理构建共享信念状态 — 青稞 AI

· Anthropic 联合创始人 Jack Clark:AI 正在让公司内部发生「相变」,你的工作还安全吗? [播客] — 跨国串门儿计划

相关链接

· 本期早报在线阅读:www.bestblogs.dev

· 个人 AGI 的理想界面是现在使用的界面?OpenAI 总裁:界面将会消失,算力永远不够!我们正处在智能体时代的边缘:www.bestblogs.dev

· 为什么大模型的缓存命中率能到 90%?:www.bestblogs.dev

· 停止从 RAG 返回文本:防止幻觉的类型化答案合约:www.bestblogs.dev

· Proof of Human:如何验证一个人是真实且唯一的:www.bestblogs.dev

· Leanstral 1.5:为所有人提供丰富的证明:www.bestblogs.dev

· 加拉帕戈斯岛的智能体测试流程、LLM 基准测试及智能体编程相关笔记:www.bestblogs.dev

· SGLang 复盘:Coding Agent 开始进入 AI Infra 开发循环:www.bestblogs.dev

· 文件系统是 Agent 的省钱答案?token 消耗降低 45%,费用减少 39%:www.bestblogs.dev

· a16z 最新一批 AI 项目:AI 创业,开始往脏活、累活里卷了:www.bestblogs.dev

· Kimi 坐上全球程序员的工位!GitHub Copilot 模型菜单中第一次出现开放权重模型:www.bestblogs.dev

· 流形约束推理新思路!傅聪团队联合厦大提出 ManCAR,自适应测试时计算带来 46%排序增益:www.bestblogs.dev

· GitHub - kerlenton/mcpsnoop:MCP 版 Wireshark。一个透明代理,在你的终端中实时展示 AI 客户端与 MCP 服务器之间的每一次真实工具调用。:www.bestblogs.dev

· Vercel 的 Andrew Qu:智能体是一种新的软件形式,Vercel 自身正变成智能体:www.bestblogs.dev

· 快手 AgentX:推荐系统开始自我迭代:www.bestblogs.dev

· ICML 2026|让 Agent 真正协同作战:GoS 为多智能体推理构建共享信念状态:www.bestblogs.dev

· Anthropic 联合创始人 Jack Clark:AI 正在让公司内部发生「相变」,你的工作还安全吗? [播客]:www.bestblogs.dev

关于 BestBlogs

BestBlogs 是 AI 驱动的私人阅读助手,帮助你发现真正适合你的高质量内容。关注你感兴趣的来源和主题,每天生成一份更适合自己的「我的早报」,欢迎体验。