21
0回车之后,你到底在等什么
- 每次提问,系统不是"接着聊",而是把整个历史重新拼成一份文档,从头喂给模型再读一遍
- 这两秒被切成几块:拼文档、过安全分类器、排队等资源、最后花最多时间的是重新读一遍越滚越长的历史
- 你回头改一个字,模型不会"修正记忆",而是把改过的版本当成从一开始就是这样发生的,整段重读
长对话为什么越聊越贵越笨
- 你自己打的字始终就那一百来个token,真正往上涨的是前面不断累积的历史,这才是变贵的根源
- 一个调用了三次网页搜索才答完的问题,其实是完整跑了三趟整套流程,每趟都要重新拼一次历史
- 二十步的任务,每一步都要重新塞进去一段两千token的指令块,二十步下来光指令块就四万token,还没算真正干活那部分
- 缓存决定了同一句话要重复烧几次钱,这也是为什么有的回答明显更快
同一句话问一千次,为什么能跑出八十种答案
- 就算关掉随机性,你的请求也要跟陌生人的请求凑在一起批处理,每次凑够的人数不同,数值计算就会出现细微差别
- AI 一直在跟一堆陌生人共用同一块算力,答案的波动不是模型"心情不好",是排队方式变了
- 你能做的就两件事:提示词把固定内容往前放、变化内容往后放,吃上缓存;对话滚过二十轮,别死磕,做摘要或干脆重开一个
- 你不是在跟模型聊天,是在跟一份被重新拼装出来的文档打交道
