为什么聊了几轮之后,AI 助手开始"变笨"了
#AI #AI工程 #harness
AI 聊多了变笨,不是模型退化了,而是窗口被塞乱了。
现在的 AI 窗口动辄几十万 token。但就像电脑内存,它跑得快却装不下太多。
中间信息最容易被忘:AI 对开头和结尾记得最牢。研究发现,关键信息藏在中间时,准确率会掉一两成。所以核心指令放最前,当前问题和资料放最后。
六样东西在抢地盘:系统提示、工具说明、检索资料、聊天记录、示例和回答空间。全塞进去肯定乱,得分轻重缓急。
腾空间的四招:旧对话压成摘要;不相关的资料直接扔;只挑当前用得上的工具;超长文档分阶段浓缩。
记忆分三层:短期记忆管眼前聊天;长期记忆存你的固定偏好;情景记忆像相册,遇到相似场景才翻出来。
真正拉开差距的,是给 AI 喂什么料。好系统不是把资料全塞给它,而是每次现场配一份刚刚好的行李。
其它金额
赞赏金额
¥
最低赞赏 ¥0
1
2
3
4
5
6
7
8
9
0
.
原文为什么聊了几轮之后,AI 助手开始"变笨"了-《0基础到AI工程师》系列 · 第4篇
收录于0基础到AI工程师-贴图
加拿大,5小时前,
夜雨聆风