AI Agent的记忆正在腐烂

一、当AI的记忆开始腐烂

想象一个场景：你的AI助手记得你去年喜欢喝拿铁，却不知道你三个月前已经改喝美式了。它记得你的旧邮箱，却忘了你已经换了新的。它储存了一千条关于你的信息，但没有一条是"现在正确"的。它甚至还记得你前任的手机号，但你们已经分手两年了。

这不是科幻——这是当下AI Agent正在经历的真实困境。

过去一年，各大AI公司都在给Agent装"记忆"。从OpenAI的Memory功能到各种开源框架，长期记忆已经成为Agent系统的标配。但一个令人不安的事实正在浮现：我们只关注了Agent能不能记住，却忘了问一个更致命的问题——记住的东西，还靠谱吗？

人类之所以能可靠地使用记忆，不仅因为我们能存储信息，更因为我们能感知信息的变化。你不会用一个三年前的密码去登录今天的账户，因为你"知道"密码已经改了。这种对记忆时效性的感知能力，是认知系统最基本的功能之一。然而，当前的AI Agent恰恰缺失了这一层。

2026年5月，arXiv上密集出现了5篇直击Agent记忆问题的论文。它们来自不同的团队、聚焦不同的侧面，却指向了同一个结论：AI Agent的记忆系统正在系统性失效——有的检索机制僵化不变，有的连记忆过期都察觉不到，有的从一开始就无法构建记忆，有的在多模态场景下全面崩盘，有的甚至连看到的图片都记不住。

这不是五篇孤立的论文，而是一场集体诊断。让我们逐一审视这份诊断书。

二、EvolveMem：检索引擎本身也需要进化

问题：现有的Agent记忆系统有一个隐含假设——记忆的"内容"会随着交互不断更新，但负责检索这些内容的"引擎"却是焊死的。打分函数、融合策略、答案生成策略，这些检索基础设施在部署后就冻结了。这就像一个图书馆，书架上的书在不断更新，但图书管理员的检索方法永远停留在第一天。

这种"内容进化、引擎僵化"的不对称设计，会导致一个后果：随着Agent交互越来越多、记忆库越来越庞大，检索效率会越来越低。因为最初设计的检索策略，根本无法预见后续会积累什么样的记忆。更具体地说，当记忆库中积累了关于用户偏好、日程安排、工作项目等不同类型的信息时，一套固定的打分权重根本无法同时服务所有检索场景。

方案：EvolveMem的核心思想是"双层共进化"——不仅要让存储的知识进化，还要让检索知识的机制一起进化。具体来说，它把检索配置（打分权重、融合策略、生成策略等）全部暴露为一个结构化的"动作空间"，由一个LLM驱动的诊断模块来优化。

每一轮"进化"中，诊断模块会执行一个完整的闭环：首先读取每个检索问题的失败日志，分析失败的根因是打分权重不合理、融合策略选错、还是生成策略出了问题；然后识别出共性的失败模式；最后提出针对性的配置调整建议。更精妙的是，它有一个"守卫元分析器"：如果调整后性能回退，自动回滚到上一版本；如果连续多轮停滞不前，会主动探索全新的搜索方向。这就是论文所说的AutoResearch——系统对自己的架构进行自主的迭代研究，就像一个研究员不断反思和改进自己的方法论。

关键数据：在LoCoMo基准上，EvolveMem相比最强基线提升25.7%，相比最简基线提升78.0%。在MemBench上，超越最强基线18.9%。更值得注意的是，进化出来的配置在不同基准间迁移时表现正向——说明它学到的是通用检索原则，而非针对特定测试的应试技巧。这暗示着一个更深远的意义：检索策略的"进化"可能遵循某些可迁移的元规律。

三、STALE：Agent根本不知道自己的记忆过期了

问题：这是五篇论文中最触目惊心的一篇。STALE揭示了一个被严重忽视的失败模式——隐式冲突（Implicit Conflict）。

什么是隐式冲突？举个例子：Agent记住了"用户住在三楼"。后来用户说"我搬到了一楼"。这里没有任何否定词，没有"不再"、"之前说的不对"，但旧记忆已经失效了。Agent需要通过上下文推理和常识判断来意识到：搬家意味着旧地址不再有效。再比如，用户说"我的项目改名叫Phoenix了"，Agent需要推理出旧项目名已经不再适用——这叫"隐式否定"，它不包含明确的否定信号，需要Agent自己推断。

人类天然能做到这一点，但Agent做不到。现有模型在检索到新证据后，往往无法据此修正旧信念。更糟的是，当用户的提问中嵌入了过时假设（比如"帮我订三楼的外卖"），模型会直接顺着走，完全意识不到"三楼"已经是个过时前提。这就像一个人明明已经离婚了，却还在填表时习惯性地写上前配偶的信息——不是忘了，而是从未意识到需要更新。

方案：STALE构建了包含400个专家验证的冲突场景（1200个评估查询），覆盖100多个日常主题，上下文最长15万Token。它提出三维探测框架，从三个层次评估Agent的"记忆时效感知"能力：

1. 状态解析（State Resolution）：给定新旧信息，能检测到旧信念已过时吗？这是最基本的能力——"看到变化，意识到旧的不对了"。

2. 前提抵抗（Premise Resistance）：能拒绝隐含过时假设的提问吗？这更难——用户的问题本身就在"带节奏"，Agent需要有勇气说"等等，你说的这个前提已经不对了"。

3. 隐式策略适配（Implicit Policy Adaptation）：能在下游行为中主动应用更新后的状态吗？这是最难的——不仅要知道旧的过期了，还要在实际行动中自动切换到新状态。

论文还提出了CUPMem原型系统，通过结构化状态整合和传播感知搜索来加强写入时的记忆修订。核心思路是：在记忆写入阶段就进行"状态裁决"，而不是等到检索时才发现冲突。实验表明，显式的状态裁决是解决这一问题的有效方向。

关键数据：在所有被评估的前沿LLM和专用记忆框架中，整体最高准确率仅55.2%。在"前提抵抗"这个维度上，表现更加惨淡——模型经常接受用户提问中嵌入的过时假设，仿佛被"催眠"了一样。更令人担忧的是，即使Agent成功识别了状态变化，它也难以推断出哪些相关记忆应该连带失效——比如用户换了工作，Agent应该自动更新公司地址、通勤路线、同事信息，但现有系统做不到这种"连锁更新"。

四、PREPING：没有任务，怎么构建记忆？

问题：Agent的记忆从哪里来？目前有两条路：要么离线从人工示范中提取，要么在线从部署后的交互中积累。但无论哪条路，Agent在面对一个全新环境时，都会遭遇"冷启动空白"——没有任何任务经验可用，记忆库是空的。

你可能会想：让Agent自己生成一些合成任务来练习不就行了？论文的答案是：不行。因为如果不控制练什么、存什么，合成任务会变得冗余、不可行、毫无信息量。更致命的是，未经筛选的交互轨迹会迅速污染记忆库，让记忆质量比没有记忆还差——这就像一个实习生把每次犯错的操作都记成"最佳实践"，结果越记越离谱。

方案：PREPING提出了"提议者引导的记忆构建框架"。核心是一个叫Proposer Memory的结构化控制状态，它像一个有经验的导师，指导Agent应该练习什么。这个控制状态会追踪三个维度的信息：哪些任务类型已经覆盖了（防止重复）、哪些任务被验证为不可行（避免浪费时间）、哪些关键能力还未被测试（填补空白）。

整个框架由三个角色协作运行：

Proposer（提议者）：根据当前控制状态生成合成任务，确保任务的可行性、非冗余性和覆盖面。它不是随机出题，而是"有的放矢"。

Solver（执行者）：尝试完成这些任务，产生交互轨迹。成功和失败的轨迹都会被记录。

Validator（验证者）：判断哪些轨迹值得进入记忆库，并将反馈传回Proposer，指导下一轮提议。失败的轨迹不进记忆库，但失败本身会更新控制状态——让Proposer知道这类任务目前还做不了。

这个闭环让合成练习从"盲目刷量"变成了"精准训练"。更重要的是，Proposer Memory本身也在不断进化：随着覆盖面的扩大，提议会越来越倾向于探索边界能力，而不是在已掌握的领域反复刷分。

关键数据：在AppWorld、BFCL v3和MCP-Universe三个基准上，PREPING相比无记忆基线有大幅提升，且达到了与从离线/在线经验构建的强基线方法相当的性能，同时部署成本在AppWorld上低2.99倍、在BFCL v3上低2.23倍。进一步分析表明，收益不是来自合成量的堆叠，而是来自Proposer侧对可行性、冗余性和覆盖面的精确控制。一个反直觉的发现是：少而精的合成任务，效果远胜于大量随机生成的任务。

五、MemLens：多模态记忆的全面体检报告

问题：当Agent的交互从纯文本扩展到图文混合的多模态场景时，记忆系统面临的挑战骤然升级。但现有的基准测试要么只测纯文本记忆，要么在多模态问题上"放水"——很多看似需要视觉记忆的问题，实际上只用文本描述就能回答。比如问"图片中提到了什么品牌"，Agent只需要记住图片里的文字就行，根本不需要记住图片的样子。没有一个基准能真正检验Agent是否保留了必要的视觉证据。

方案：MemLens构建了包含789个问题的多模态多轮对话记忆基准，覆盖五项记忆能力：

1. 信息提取：从长对话中精准提取特定信息——这是最基本的记忆能力。

2. 多轮推理：跨多轮对话进行推理——需要整合分散在不同轮次中的碎片信息。

3. 时序推理：理解事件的时间先后——"先发生了A还是先发生了B"看似简单，但长对话中极容易搞混。

4. 知识更新：在新证据出现时更新记忆——与STALE关注的类似，但MemLens聚焦在多模态场景下的知识更新。

5. 答案拒绝：在信息不足时主动说"我不知道"——这看似简单，但对大模型来说极其困难，因为它们天生倾向于"编"一个答案。

测试在32K到256K四种上下文长度下进行，使用跨模态Token计数方案确保图文公平计算——这意味着图片和文字被统一衡量，不会被"超长上下文"的幻觉掩盖问题。一个精巧的消融实验证明了MemLens的必要性：删除证据图片后，两个前沿LVLM在80.4%包含图片证据的问题上准确率跌至2%以下——这说明那些问题确实需要视觉记忆，而不是靠文字就能蒙混过关。

关键数据：评估了27个LVLM和7个记忆增强Agent。两种路线各有所长但都无法独立解决问题。论文呼吁混合架构——结合长上下文注意力与结构化多模态检索，才能同时保留视觉保真度和推理能力。

六、MemEye：Agent连看到的图片都记不住

问题：MemEye聚焦在多模态记忆问题中最尖锐的一个切面：视觉细节的保存与推理。如果说MemLens是全面体检，那MemEye就是针对"视觉记忆"的专科深度检查。现有评测的"作弊空间"太大了——很多视觉相关的问题，Agent只需要看文字描述就能蒙对答案，根本不需要真正"记住"图片内容。而那些真正需要视觉状态推理的难题，又几乎不存在于现有基准中。

这意味着我们过去对Agent视觉记忆能力的评估，很可能严重高估了。

方案：MemEye从两个正交维度构建评估矩阵：

维度一：视觉证据粒度——从场景级（只需知道图里有什么物体）到区域级（需要知道物体的大致位置）再到像素级（需要精确的视觉细节，比如"杯子在桌子左边还是右边"）

维度二：证据使用方式——从单条证据直接检索（看到什么回答什么）到跨时间综合推理（需要比较不同时间点的视觉状态变化）

论文构建了8个生活场景的基准测试，并设计了四道消融验证门：可回答性（问题确实可回答）、抗捷径性（不能通过文字描述取巧）、视觉必要性（确实需要看图才能答）、推理结构性（需要多步推理而非简单匹配）。只有通过这四道门的问题才会被纳入评测，确保测的是真本事，不是取巧。

关键数据：评估了13种记忆方法在4个VLM骨干上的表现。结果显示，当前架构在保留细粒度视觉细节和推理视觉状态变化方面严重不足。论文指出，长期多模态记忆取决于三个关键能力：证据路由（知道去哪找视觉证据）、时序追踪（知道视觉状态何时发生了变化）和细节提取（能提取像素级的视觉信息）。目前的系统在这三个能力上都有根本性缺陷。

七、为什么这是一场集体危机

五篇论文，五个不同的团队，五个不同的切入点。但把它们放在一起看，一个更大的图景浮现出来：

1. 记忆不是存储问题，是全生命周期问题——从构建（PREPING）、到检索（EvolveMem）、到更新（STALE）、到多模态保存（MemLens/MemEye），每一个环节都在漏水。修好一个环节不够，因为水会从其他地方流走。当前的Agent记忆研究就像是在一艘到处漏水的船上，有人补了船底，有人修了船舷，但没有人意识到整艘船的结构都需要重新设计。

2. "记住"≠"记对"——当前的记忆评测过于关注"能否检索到"，而忽视了"检索到的是否仍然有效"。STALE证明，即使检索到了正确信息，Agent也可能在行为层面继续使用过期记忆。这是更深层的失败——它不是"找不到"，而是"找到了但用了错的"。

3. 多模态是记忆的倍增器——MemLens和MemEye同时揭示，一旦进入多模态场景，无论是长上下文路线还是记忆增强路线，都面临根本性瓶颈。视觉信息的压缩损失和状态追踪的困难，让问题比纯文本记忆复杂了一个量级。我们可能需要全新的多模态记忆表示方法，而不仅仅是把文本记忆的方案搬到视觉领域。

4. 自我进化可能是出路——EvolveMem的AutoResearch思路提供了一个有趣的范式：让记忆系统自己研究自己的失败，自主进化。这种"元认知"式的自我改进，可能是解决记忆腐烂问题的关键方向。如果Agent能学会"反思自己的记忆"，那它就能在记忆腐烂之前主动更新。

5. 记忆质量比记忆数量重要得多——PREPING证明，少而精的合成练习远胜于大量随机交互；MemEye证明，精准的视觉细节追踪远比模糊的场景描述有价值。当前的趋势是给Agent塞更多记忆，但真正需要的是让每条记忆都保持"新鲜"和"准确"。

当我们在为Agent装上越来越多的记忆而欢呼时，这五篇论文像五个冷静的医生，递上了一份集体诊断书：记忆的腐烂不是Bug，而是当前架构的系统性特征。修复它需要的不是补丁，而是范式的转变——从"让Agent记住更多"转向"让Agent知道自己的记忆是否仍然可靠"。

下次你的AI助手自信满满地告诉你一个"它记得"的信息时，也许该问一句：你确定，这个记忆还新鲜吗？