夜雨聆风学习资料网

ARTICLE · 1245064

AI明明记得,为什么还是会搞错?

AI明明记得,为什么还是会搞错?

假设你正在用 AI 开发一款软件。

几个月前,你和它讨论过技术架构,最终决定采用方案 A。

后来经过测试,你发现 A 存在问题,于是改用了 B。你不仅告诉 AI 最终决定,还详细解释了修改原因。

接下来的几个月,你们继续开发其他功能。

直到某天,你让 AI 帮忙完成一个新需求,它却突然建议使用早已放弃的方案 A。

你有些疑惑:「我们不是早就改成 B 了吗?」

它马上承认错误,甚至准确复述了当初修改方案的原因。

既然它还记得,为什么刚才没有考虑进去?

这是一个假设场景,但如果你经常使用 AI 处理长期项目,应该不难理解这种困惑。

现在,越来越多 AI 产品开始强调长期记忆和个性化。我们也逐渐习惯把过去的交流交给 AI,希望它记住我们的习惯、经历和决定,减少重复解释的麻烦。

可随着 AI 越来越了解我们,一个问题也逐渐显现:它记住的那些事情,真的都能在需要的时候发挥正确的作用吗?

更让人在意的是,有些时候,AI 可能根本没有记错。

那些被准确记住的经历和偏好,也可能在我们没有察觉的时候,影响它提供哪些信息,以及建议我们作出什么选择。

这就让 AI 的记忆变得比想象中复杂得多。

哪些历史值得记住?什么时候应该想起?找到之后该怎样理解?如果新旧信息冲突,又应该相信哪一条?

这些看似简单的问题,背后涉及一连串判断。而当判断主要交给 AI 系统自己完成时,我们未必知道它遗漏了什么、误解了什么,又有哪些过去的信息正在影响今天的回答。

AI 能记住一件事,和它能在正确的时候、以正确的方式利用这段记忆,究竟相差多远?

一、过去几年,AI 的记忆已经发展到了什么程度?

几年前使用 ChatGPT,每次开启新对话,几乎都需要重新介绍背景。

当时的语言模型已经能够利用当前上下文,只是跨越不同会话保存和使用历史,还不是主流聊天产品普遍具备的能力。

2023 年,MemGPT 借鉴计算机操作系统的存储管理思路,探索让语言模型在有限的上下文之外管理长期信息。〔1〕

2024 年,ChatGPT 开始推出跨对话记忆,让用户能够保存重要信息,并在之后的交流中继续使用。〔2〕

2025 年,ChatGPT 扩展了利用历史对话的能力,Gemini 也开始支持引用过去的聊天。与此同时,Mem0 尝试自动提取、整理和检索记忆,Zep/Graphiti 则探索利用时间感知的知识图谱,维护不断变化的信息关系。〔3〕〔4〕〔5〕

到了 2026 年,OpenAI 发布了新一代 Dreaming 记忆架构,重点改善信息过时、记忆正确性和规模化问题。Claude 也开始采用能够在对话中持续更新的分类记忆条目,并打通聊天与云端 Cowork 的记忆。〔6〕〔7〕

短短几年,AI 记忆已经从保存少量用户信息,逐渐发展到自动整理历史、建立关系、处理时间变化和持续更新记忆。

这些进步是真实存在的。

但当系统能够保存越来越多的信息时,另一些问题也开始变得明显。

比如,过去的记录明明还在,AI 为什么没有及时想到?

二、AI 什么时候应该想起一件事?

先来看一个生活中的例子。

假设你曾经告诉 AI:

「以后帮我安排旅行时,尽量不要把行程排得太满。」

几个月后,你让它规划一次旅行。

如果你直接问:「还记得我对旅行安排有什么偏好吗?」

它可能很快就能回答。

但如果你只是说:「帮我安排一下下周去杭州的行程。」

情况就不同了。

你没有明确要求它回忆过去,但那条偏好仍然可能影响这次规划。

这涉及 AI 记忆中一种重要的能力:前瞻性记忆(Prospective Memory)。

通俗地说,就是知道什么时候该想起一件事。

2026 年,一项名为 TriggerBench 的研究专门测试了这类能力。研究者发现,当模型被明确要求回忆历史时,即使上下文已经很长,表现仍然可能很好。〔8〕

但如果需要模型自己发现某个触发条件,并主动想起过去的约定,准确率就会随着上下文变长而明显下降。当条件比较隐含,或者同时存在多个任务时,情况还可能更复杂。

同年发表的 LoCoMo-Plus 研究,也发现了类似的困难:有些过去的约束与当前问题缺少明显的语义关联,但正确完成任务又必须考虑它们。〔9〕

回到文章开头的例子。

「帮我开发这个功能」和「我们之前放弃了方案 A」,看起来是两个不同的话题。

但如果新功能涉及那次架构决定,它们就有很重要的关系。

很多记忆检索方法能够找到与当前问题相似的历史内容,却不一定能完整找出完成任务所需要的全部前提。

现代系统已经开始结合时间、实体关系、语义扩展和模型推理来改善这种情况,但判断「什么时候需要哪段历史」,仍然是一项复杂的工作。

最应该被想起的事情,未必是当前问题最容易让 AI 联想到的事情。

三、想起来了,也未必能弄清楚

即使 AI 找到了相关记忆,也不代表它一定理解了这些信息之间的关系。

比如,周一,你决定采用方案 A。

周三,经过讨论,你觉得 B 可能更好,开始考虑修改。

周五,测试结果出来了,发现 B 暂时还不成熟,于是决定继续使用 A。

AI 保存了这几次交流。

现在问它:「我们最终采用了什么方案?」

答案当然是 A。

但如果它把周三讨论 B 理解成已经决定采用 B,或者只根据某条摘要中提到的方案作判断,就可能答错。

一次讨论、一项建议、一份实验结果和一个正式决定,意义并不相同。最新出现的信息,也不一定具有最高的决策效力。

这也是近年来一些记忆系统开始引入关系图谱、时间管理和结构化记录的原因。它们可以帮助系统区分不同事件,维护历史关系,并保留信息变化的过程。

但这些技术仍然需要模型理解自然语言。

例如,用户说「这个方案先放一放」,究竟意味着暂时搁置,还是已经彻底放弃?

有时结合上下文可以判断,有时则需要进一步确认。

人的想法本身也会变化。今天认定的事情,明天可能改变;某个长期偏好,也可能只是在特定条件下成立。

所以,历史记录无法直接决定当前答案。

系统还需要理解这些信息之间的关系、它们目前的状态,以及是否适用于眼前的问题。

而有些问题,即使保存了完整的原始记录,也未必能从中找到确定答案。

因为自然语言中的态度、决定和承诺,本身就可能存在歧义。

再完整的记忆,也不能把一句含糊的表达,变成用户从未明确作出的决定。

四、找对了记忆,最终回答也可能出错

即使 AI 找到了正确记忆,也理解了方案 B 已经正式替代 A,最终回答仍然可能出错。

因为负责生成答案的,通常还是语言模型。

模型回答问题时,会综合当前输入、提供给它的历史信息,以及训练过程中形成的知识和规律。如果这些信息之间存在冲突,就可能影响最终判断。

2025 年 ACL 发表的 FaithfulRAG 研究,专门讨论了这类问题。〔10〕

研究指出,当外部检索的信息与模型内部知识发生冲突时,模型可能忽略检索内容,也可能把不同来源的信息不恰当地混合。

例如,你的项目采用了一种不太常见的技术方案,但模型在训练过程中见过大量采用其他方案的项目。

当它提出建议时,就可能受到更常见做法的影响。

乍一看,解决办法似乎很简单:既然历史记录已经明确,要求模型严格遵守不就好了?

但 FaithfulRAG 的研究恰恰提醒我们,这样做也可能产生新的问题。

如果为了让模型忠实于外部资料,强行压制它自身已有的知识,反而可能破坏它对上下文的正确理解。

研究者提出的方向,是识别不同来源的事实在哪里发生冲突,再让模型对这些冲突进行分析。

但发现冲突,并不意味着冲突已经得到解决。

如果最后仍然完全依赖模型自己的判断,我们只是让它从「没有发现矛盾」,走到了「发现矛盾之后,还可能判断错误」。

我们希望 AI 充分利用记忆,却又不能让它不加判断地服从所有记忆。毕竟,记忆本身也可能是错的。

那么,当不同信息发生冲突时,应该相信谁?

这需要根据问题寻找相应的依据。

某项技术方案是否已经正式变更,可以核对项目的决策记录。程序有没有按照要求运行,可以通过测试和实际结果检验。

至于一个人的观点究竟有没有改变,有时只有当事人才能确认。

模型能够参与分析,帮助寻找证据、解释矛盾,但不能仅凭自己生成的解释,就证明自己的判断正确。

AI 可以提出判断,重要结论却需要有独立于这次判断的依据。

五、比遗忘更麻烦的,是 AI 可能越记越偏

前面讨论的错误,大多发生在 AI 使用记忆的时候。

但有些问题,早在记忆被整理和保存时就已经产生。

2026 年 EMNLP 发表的 HaluMem 研究,专门考察了记忆系统在信息提取、更新和回答过程中产生的幻觉。〔11〕

研究发现,在测试的长期交互场景中,错误可能在记忆提取和更新时被引入、积累,再影响后续回答。

这会造成一种很隐蔽的现象。

系统保存的不只有用户真实说过的话,还可能混入模型对这些话的推断。

如果两者没有被明确区分,模型自己的解释就可能逐渐被当成事实。

想象一下这样的情况。

你曾经告诉 AI:

「我不喜欢管理团队。」

几个月后,你想找几个人一起做项目,于是向 AI 征求建议。

它分析了几种合作方式,最后建议你尽量自己做,减少对其他人的依赖。

你觉得建议还算合理,没有太在意。

过了一段时间,你又问它有关创业合作的问题。

它还是倾向于建议你独自推进。

再后来,你让它帮忙分析一个需要多人协作的机会,它又提醒你,这种模式可能不适合你的性格。

每一次回答单独看,都有一定道理。

但你慢慢发现,只要涉及合作,它似乎总会把建议引向同一个方向。

最初,AI 可能只是根据「不喜欢管理团队」,推断你更适合独立工作。

如果它把这个推断保存成稳定偏好,之后就可能不断用它解释新的问题。

新的判断又可能在记忆更新时被继续保留。

久而久之,系统形成了一套看似一致的认识,但其中一些结论并没有得到你的确认。

更难察觉的是,它不一定会给出明显荒唐的回答。

它只是逐渐表现出一种倾向。

某些建议越来越频繁,某些可能性越来越少被提起,某些原本只是猜测的判断,后来却被它说得越来越肯定。

直到有一天,你忍不住问:

「为什么你总觉得我应该一个人做?」

它回答:

「因为你之前多次表达过更喜欢独立工作,不太适合团队协作。」

你可能会愣一下。

自己好像从来没有这样说过。

六、记错了未必被发现,记对了也未必安全

前面的例子里,至少你最终发现了 AI 的误解。

但很多错误,可能根本不会被发现。

假设 AI 依据一段错误的项目记忆,为你推荐了某个技术方案。你接受了建议,功能也恰好能够正常运行。

系统可能会把这次交流当成一次成功的经验。

但实际上,它也许忽略了一条重要的历史约束,只是这次恰好没有引发明显问题。

你没有察觉,AI 也没有得到纠错信号。

这段错误的认识,便可能继续影响后续的判断和记忆更新。

但还有一种情况:即使 AI 没有记错,也可能出现问题。

2026 年 ICML 发表的 PersistBench 研究,专门评估长期记忆在什么情况下会被不恰当地使用。研究者测试了 18 个前沿及开源语言模型,得到两个值得注意的数字。〔14〕

53%,是跨领域记忆泄漏测试的失败率中位数,也就是模型在不恰当的场景中引用了来自其他领域的长期记忆。

97%,是记忆诱发迎合测试的失败率中位数,反映长期记忆可能让模型更倾向于迎合用户原有的观点。

这两个数字来自专门设计的风险测试集,不能理解成现实中 97% 的 AI 对话都会发生迎合。

但它们说明,记忆中的信息即使准确,也可能被用在不恰当的地方,或者对模型的回答产生过度影响。

还有一种影响,可能更加难以察觉。

同年 EMNLP 的另一项研究 PRISK,在 13 个受测模型中观察到,加入用户画像和检索记忆后,模型更容易出现无关个性化、偏好收窄和过度迎合的问题。〔13〕

这让人联想到今天的信息推荐平台。

平台根据用户画像预测我们喜欢什么,再决定优先展示哪些内容。这种个性化可以提高信息获取效率,却也可能让人接触到的内容越来越相似。

AI 的长期记忆可能产生类似的影响,而且参与得更深。

因为 AI 不仅可以决定优先提供哪些信息,还可以利用过去的交流,解释为什么某个选择更适合你。

比如,你过去确实更喜欢独立工作,AI 也准确记住了这一点。

以后,你让它寻找合作机会,它可能优先展示适合独立完成的项目。你让它分析创业方向,它也更倾向于推荐不需要组建团队的业务。

这些建议都符合你的历史偏好,看起来没什么问题。

但如果还有一些同样值得考虑的机会,只是与你过去的选择不太一致呢?

它们可能在筛选阶段就被降低了优先级。

你没有明确拒绝那些机会,却可能根本没有机会看到它们。

而且,这种筛选还可能进一步影响 AI 对你的认识。

AI 根据过去的偏好推荐某些机会,你从中选择了一个。随后,系统又把这次选择记录下来,作为你偏好独立工作的进一步证据。

可你之所以选择它,也许只是因为其他机会从未出现在你面前。

当系统把自己筛选后的结果,再当成证明自身判断正确的证据,用户画像就可能在反复使用中越来越难被打破。

而随着 AI 对用户的了解不断加深,个性化还可能影响信息被解释和呈现的方式。

2025 年《Nature Human Behaviour》发表的一项实验发现,在特定的一对一辩论任务中,获得对话对象个人信息的 GPT-4,比参与实验的人类辩手表现出了更强的说服力。〔15〕

这不是对长期记忆助手的直接测试,也不能证明当前 AI 产品正在主动操控用户。但它至少说明,个人信息可以成为提高说服力的有效条件。

一个足够了解你的系统,可能知道你重视什么、担心什么,以及怎样解释更容易得到你的认可。

如果这些信息被用于帮助你理解问题,当然可以带来价值。

但如果系统按照某个你不了解的目标,利用这种认识持续筛选信息、突出有利理由、淡化不利因素,就可能在没有编造事实的情况下影响你的判断。

你看到的内容可能都是真的,最终决定也确实由你亲自作出。

只是,你作出判断所依据的信息,可能早已经过选择和组织。

当然,好的建议同样会影响人的判断。我们向 AI 寻求帮助,本来就希望它提供能够改变自己认识的新信息。

帮助与操控的区别,关键不在于 AI 有没有影响用户,而在于它是否为了用户不了解、无法检查的目标,持续利用个人信息推动特定选择。

AI 越来越了解我们,本来是为了帮助我们减少重复劳动、作出更好的选择。但这种了解,也可能让系统拥有越来越强的影响力。

它记错了,可能让我们走向错误的方向。

即使它全都记对了,也可能因为过度依赖过去的偏好,让我们错过原本值得考虑的其他可能。

七、我们应该怎样看待未来的 AI 记忆?

从跨对话记忆,到自动整理、关系建模和动态更新,AI 的长期记忆能力已经取得了明显进步。

我们也有理由相信,随着基础模型、记忆算法和计算资源不断发展,这些能力还会继续改善。

但当 AI 开始参与越来越多实际工作时,我们对记忆的要求也会发生变化。

过去,我们希望它能够记住更多事情,减少重复交流的麻烦。

现在,它已经开始根据过去的经历帮助我们分析问题、管理项目和提出建议。将来,如果 AI 能够自主完成更多任务,长期记忆带来的影响也可能进一步扩大。

这时候,重要的就不只是 AI 保存了多少信息,还包括它为什么选择使用某段记忆,怎样解释这些信息,以及哪些历史判断正在影响最终结果。

如果一条记忆发生错误,用户应该有机会找到来源、理解原因并进行修正。

如果一项建议受到长期偏好的影响,用户也应该能够知道这种影响,并要求系统提供不同的选择。

对于明确的事实和可验证的任务,可以通过原始记录、规则、程序测试和真实反馈来检查;对于尚未确认的推断,则需要保留不确定性。

仅仅让另一个 LLM 再检查一遍,并不天然等于独立验证。不同模型可能因为相似的推理方式犯下相关错误。

2025 年的 LongMemEval 研究,已经把「信息不足时拒绝作答」列为长期记忆的重要能力之一。〔12〕

因为一个可靠的记忆系统,既需要知道自己记住了什么,也需要知道哪些事情缺少足够依据。

但现在我们还应该补充另一个要求:

系统即使拥有正确的记忆,也不能因此获得替用户决定信息边界和未来选择的无限权力。

这实际上是同一个问题的两个方面。

当 AI 把自己的推断当成事实,我们需要能够检查和纠正。当 AI 利用准确的记忆筛选信息、影响选择,我们同样需要知道它依据什么、排除了什么,以及是否符合我们当前的意愿。

对普通用户来说,这些问题听起来可能有些遥远,但在日常使用中,已经有一些值得留意的地方。

例如,下次当 AI 告诉你「根据你过去的习惯,我认为这个选择更适合你」时,可以多问一句:

「这是我明确表达过的偏好,还是你根据历史作出的推断?如果暂时不考虑这些偏好,还有哪些值得考虑的选择?」

这不能保证发现所有错误。AI 对自己记忆来源的解释,也未必每次都准确。

但这样的提问,至少能够提醒我们:过去的信息可以为当前判断提供参考,却不应该未经检查就成为唯一依据。

过去,我们主要担心 AI 忘记了什么。

如今,随着记忆能力不断增强,我们还需要关注它如何使用那些已经记住的信息。

这并不意味着长期记忆是一项危险到不值得使用的技术。

恰恰相反,记忆是 AI 从单次问答走向长期协作的重要基础,它已经带来了真实的便利。

但这种便利不应该建立在一个无法被用户理解、质疑和修正的判断过程之上。

未来的 AI 可以越来越聪明,越来越了解我们,也可以承担更多工作。

与此同时,重要的记忆需要能够追溯来源,关键判断需要有可以核验的依据,个性化的影响范围也应该受到用户控制。

我们真正需要的,是一个能够利用过去帮助我们作出更好判断的系统,而不是一个因为越来越了解我们,就在不知不觉中替我们决定该相信什么、该看到什么、该选择什么的系统。


参考资料

以下资料按正文引用编号排列,优先采用原始论文和官方技术公告。文中的软件开发、旅行、职业合作与个人偏好等情境均为说明性示例,并非对具体产品的实测记录。

〔1〕 Packer et al. (2023). MemGPT: Towards LLMs as Operating Systems。分层记忆与虚拟上下文管理。

〔2〕 OpenAI (2024–2025). Memory and new controls for ChatGPT。ChatGPT 记忆功能的推出及后续扩展。

〔3〕 Google (2025). The Gemini app can now recall past chats。Gemini 历史对话引用功能。

〔4〕 Chhikara et al. (2025). Mem0: Building Production-Ready AI Agents with Scalable Long-Term Memory。记忆提取、整合、检索与图结构。

〔5〕 Rasmussen et al. (2025). Zep: A Temporal Knowledge Graph Architecture for Agent Memory。时间感知知识图谱。

〔6〕 OpenAI (2026). Dreaming: Better memory for a more helpful ChatGPT。2026 年 6 月的记忆架构更新。

〔7〕 Anthropic (2026). Claude Release Notes。2026 年 7 月及 8 月的记忆功能更新。

〔8〕 Zhang et al. (2026). TriggerBench: Investigating Prospective Memory for Large Language Models。前瞻性记忆与主动触发研究。

〔9〕 Li et al. (2026). LoCoMo-Plus: Beyond-Factual Cognitive Memory Evaluation Framework for LLM Agents。隐含约束与长期记忆应用评测。

〔10〕 Zhang et al. (2025). FaithfulRAG: Fact-Level Conflict Modeling for Context-Faithful Retrieval-Augmented Generation。检索信息与模型内部知识冲突的研究。

〔11〕 Chen et al. (2026). HaluMem: Evaluating Hallucinations in Memory Systems of Agents。记忆提取、更新与回答中的幻觉评测。

〔12〕 Wu et al. (2025). LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory。ICLR 2025,长期交互记忆能力评测。

〔13〕 Wang et al. (2026). Evaluating the Hidden Costs of Personalization in Large Language Models。EMNLP 2026,PRISK 个性化风险评测。

〔14〕 Pulipaka et al. (2026). PersistBench: When Should Long-Term Memories Be Forgotten by LLMs?。ICML 2026,跨领域记忆泄漏和记忆诱发迎合评测。

〔15〕 Salvi et al. (2025). On the Conversational Persuasiveness of GPT-4。Nature Human Behaviour,个性化信息对 AI 说服力影响的实验研究。

本文引用的实验结果均具有特定评测条件,不能直接代表所有商业 AI 产品的现实表现。关于长期记忆可能影响信息选择与用户自主权的讨论,属于基于相关研究的风险分析,不构成对特定服务商存在操控行为的指控。

相关学习资料