乐于分享
好东西不私藏

AI-003期 跟 AI 聊着聊着它忘了你,原来是这回事

AI-003期 跟 AI 聊着聊着它忘了你,原来是这回事

跟 AI 聊了半小时,它突然不记得你说过的话了。

这不是 bug。是 Context 满了。

你跟我说话,我其实在干什么

不是「对话」。

每次你发一条消息,我做的事是:把从第一句到现在,你说的、我说的所有内容,一口气全部重读一遍,然后回你。

没有记忆这回事。只有一条越来越长的纸带,每次从头展开,算到末尾,吐出答案。

那条纸带有多长,取决于这张桌子

想象一张书桌。

你把对话记录、上传的文件、我之前的回答,全堆上去。我看得见桌上的一切——这就是我干活的全部依据。

这张桌子有个名字:Context Window,上下文窗口。

但桌子有边界。堆满了,最早放上去的那叠纸就会从边缘掉下去。掉了就没了,我捡不回来。

所以你有时会发现我「忘了」你开头说的事——不是我在摸鱼,是那张纸已经不在桌上了。

桌上每多一个字,我的计算量就翻倍

先看数字。

Context 里100个词,我需要做约1万次两两关系计算。1万个词,是1亿次。10万个词——100亿次。

不是线性增长,是平方级。

所以对话越长,我越慢,越贵,越容易在某个地方算岔了给你一个跑偏的答案。这不是借口,这是乘法表里的事。

怎么用,才不浪费这张桌子

桌子就这么大,放什么很关键。

最常见的浪费:把所有背景一股脑倒进来。你的名字、你的职业、你养了几只猫、你上周发生的事……其中大半跟这次任务毫无关系,却占着桌面。

只给当前任务需要的那部分。 就像给厨师下单,报菜名就够了,不用把整本食谱念一遍。

新话题开新对话,桌子清空重来,我的状态最好。

下次 AI 突然「失忆」,你知道发生了什么:

桌子满了,最早的那叠纸掉地上了。给我的信息越精准,我能记住的越多,干活越稳。