乐于分享
好东西不私藏

为什么聊了几轮之后,AI 助手开始"变笨"了

为什么聊了几轮之后,AI 助手开始"变笨"了

为什么聊了几轮之后,AI 助手开始"变笨"了

#AI #AI工程 #harness
AI 聊多了变笨,不是模型退化了,而是窗口被塞乱了。

现在的 AI 窗口动辄几十万 token。但就像电脑内存,它跑得快却装不下太多。

中间信息最容易被忘:AI 对开头和结尾记得最牢。研究发现,关键信息藏在中间时,准确率会掉一两成。所以核心指令放最前,当前问题和资料放最后。

六样东西在抢地盘:系统提示、工具说明、检索资料、聊天记录、示例和回答空间。全塞进去肯定乱,得分轻重缓急。

腾空间的四招:旧对话压成摘要;不相关的资料直接扔;只挑当前用得上的工具;超长文档分阶段浓缩。

记忆分三层:短期记忆管眼前聊天;长期记忆存你的固定偏好;情景记忆像相册,遇到相似场景才翻出来。

真正拉开差距的,是给 AI 喂什么料。好系统不是把资料全塞给它,而是每次现场配一份刚刚好的行李。

名称已清空
微信扫一扫赞赏作者
喜欢作者其它金额
作品
暂无作品
喜欢作者
其它金额
最低赞赏 ¥0
其它金额
赞赏金额
¥
最低赞赏 ¥0
1
2
3
4
5
6
7
8
9
0
.
原文为什么聊了几轮之后,AI 助手开始"变笨"了-《0基础到AI工程师》系列 · 第4篇
收录于0基础到AI工程师-贴图
加拿大,5小时前,