RAG已死,上下文工程永存 | Chroma CEO Jeff Huber

RAG已死,上下文工程永存 | Chroma CEO Jeff Huber

19分钟 ·
播放数451
·
评论数3

上下文内容是越多越好么?AI产品从演示DEMO到生产环境之间,又有着怎样的鸿沟呢?今天,我们来回顾一下Chroma CEO杰夫·哈伯(Jeff Huber)在《Latent Space》播客节目的访谈,看看Chroma是如何试图将AI开发的“炼金术”,转变为一门真正的“工程学”的。这不仅是一个关于技术的故事,更是一个在喧嚣的AI浪潮中,如何保持专注、坚持信念和追求极致“技艺”(Craft)的故事。

聊天讨论群,微信群二维码,可加个人微信gxjdian入群

展开Show Notes
16:20 让大语言模型读取文档,生成用户问题,生成大量问题-答案对,就是自己私人模型的黄金数据集。例如,更换embedding模型后准确率是否提升?

每个团队都可以有数据标记派对,提升AI产出质量。
13:14 两阶段检索——第一阶段是粗筛(向量搜索的语义相似性、全文搜索关键词匹配等),快速筛选高度相似的内容,追求高召回率,不放过一个。第二个阶段是精炼,让大模型rerank重排序,选择top 20放入大模型回答窗口中。
11:06 上下文腐烂现象——上下文token越多,模型不仅会忽略一些指令,其产出质量也会显著下降。这意味着不是把所有文件一股脑丢给AI就能得到更好的结果,甚至会适得其反。