夜雨聆风学习资料网

ARTICLE · 1400136

前缀缓存:同一份长文档,别让模型读十遍

前缀缓存:同一份长文档,别让模型读十遍

同一份 200 页手册,连问 10 个问题,模型真能老老实实读 10 遍。

不是它记性差。前面算过的开头没存下来,下一问又从头算一遍。前缀缓存干的就这一件事:同一段开头只算一次。

它省的是等待时间,不是答案质量。多轮聊天越聊越长,天然受益;长文档反复问,也明显快。

但条件很苛刻——前缀必须逐字一致。开头塞个时间戳、随机 ID,命中率直接归零。缓存还占显存,攒多了要淘汰。

所以真正该做的不是自己写缓存,是把提示结构摆对:固定的钉前面,变动的放后面。只有你一个人偶尔问一次,基本享受不到这好处。

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料