075.别用微调去修检索问题:提示词、记忆、权重三层各司其职

075.别用微调去修检索问题:提示词、记忆、权重三层各司其职

31分钟 ·
播放数34
·
评论数0

本期要点

· 企业 AI 真正的架构难题不是模型本身,而是"知识如何抵达推理"——这个决策在绝大多数团队里是被动累积出来的,不是被设计出来的。

· 三件工具各司其职:提示词管行为与语气,记忆管当下、海量、可溯源的事实,权重(微调)只锁入已经停止变化的条件反射。

· 一个真实事故:支持助手六个月内被四次"合理"的改动叠加,一次用旧工单做的微调把旧产品目录烤进了权重,此后无论提示词怎么改,模型都会编造不存在的产品名。

· 为什么不该把事实塞进提示词:除了词元成本,还有"中部遗忘"——上下文越长,夹在中间的内容越容易被忽略;装得下,不等于用得上。

· 最贵、也最隐蔽的错误是"用微调去修检索问题":模型答错了,该修的是检索分块、过滤与元数据,而不是动权重。

· 什么才真的适合微调:难而模糊、人类判断已收敛的问题(内容审核、理赔处理),并且必须持续监控"中心漂移";ICD-10 有七万条编码,也不该用微调去学。

· 三层要形成循环:提示词→记忆(对话沉淀)、记忆→提示词(会话召回)、记忆→权重(沉淀出的格式与反应模式),微调之后值得检索的东西也随之改变。

· 收尾那句最重:模型是最容易的那部分,围绕它搭建的那套底座才是关键架构。