记忆不是插件，是架构本身：Google Nested Learning 给 AI 产品人的启示

一篇 Google Research 的 NeurIPS 2025 论文，把优化器、架构、记忆看成同一件事。它的结论很直接：LLM 的失忆不是工程上的疏漏，而是被写进了架构本身。

你的 AI 朋友得了「顺行性失忆」

你有没有发现：现在的 LLM 聊起天来，越来越像一个人——只不过，是一个记不住新事的人。

在神经医学里，这叫顺行性失忆（anterograde amnesia）：病人能正常对话，却没法把刚发生的事变成长期记忆。LLM 得的，就是这一款。

这是 Google Research 在 NeurIPS 2025 上发表的论文《Nested Learning: The Illusion of Deep Learning Architectures》（arXiv: 2512.24695）一开头打的那个比方——不是修辞，是模型机制的精确描述。

具体表现就是：过去的记忆还在，新发生的事却留不下来。世界被卡在一个「短期当下」里，过一会儿什么都想不起来。

LLM 也是这样。它能完美处理上下文窗口里塞进来的所有 token，但这部分信息处理完之后，它的参数不会发生任何改变。上下文窗口是它的「工作记忆」，预训练后的 MLP 是它的「长期记忆」——而两者之间，是断的。那个「断」，在人脑里对应的是海马体到新皮层的记忆巩固通路——短期记忆必须靠它才能沉淀成长期记忆，Transformer 直接把这个通路省掉了。

论文作者把这个状态叫做「living in the immediate present」。这句话放在人身上是一种诊断，放在模型身上也是一种诊断——两种情况下的后果一模一样：你今天告诉它的事，明天它就忘了。

这不是「上下文窗口不够大」的问题。这是一个架构级别的问题。

而这件事，跟每一个做 AI 产品的人都有关。

图 1：论文 Figure 1——人脑的多频段震荡（Delta/Theta/Alpha/Beta/Gamma），以及 NL 视角下的多频段更新结构。Uniform and reusable structure + multi time-scale update，是人脑能持续学习的两个关键。

论文真正说透的点：优化器、架构、记忆是同一件事

这篇论文真正说透的点，不是「HOPE 这个新架构」，是它给出了一个统一视角：在一个 ML 系统里，优化器、模型架构、记忆模块，本质上是同一件事的不同形态。

为了解释这一点，作者先做了一个非常不「显而易见」的观察：Transformer 其实只有两个「频率」。

每一条数据进入 Transformer，会被两个完全不同的部件处理：

注意力机制（Attention）：每次读到新 token 都更新一次。它的更新频率是无穷大——每个 token 进来都会重新计算一遍键值映射。可以理解为「完美记忆」：它把当前序列的所有 token 完整缓存下来，没有压缩。

MLP 块：只在预训练时更新，预训练完就冻结。更新频率是 0。它是模型的「长期记忆」，但这个记忆在「预训练结束」这个事件之后就再也不变了。

也就是说，Transformer 不是一个连续的系统，而是两个极端的叠加：一个永远在更新，一个永远不更新。中间的频段——那些应该「按天、按周、按月」更新的参数——根本不存在。

这是「架构级别」的失忆原因。不是训练数据不够，不是上下文窗口不够大，是模型设计上就没给「中等频率」留位置。

图 2：论文 Figure 3——同一个 Transformer 块，左边是 NL 视角（线性层按不同频率更新），右边是传统 DL 视角（FFN + Attention）。NL 把「隐藏的内部梯度流」完整摊开。

接下来这一步才是真正要害的：优化器本身也是记忆。

论文证明了，带动量的梯度下降可以被严格地写成「求解一个联想记忆优化问题」：

内部层（Inner Level）：动量项 m 是一个无键的联想记忆，把历史梯度压缩进自己的参数里。它就是优化器的「记忆」，更新频率比权重快。

外部层（Outer Level）：权重 W 是慢速更新的记忆。

这意味着，Adam、SGDM 这些我们叫「优化器」的东西，本质上是模型在另一个频率上维护的另一套记忆系统。Adam 的二阶矩，就是把梯度映射到方差——论文证明了，Adam 在 L2 回归目标下是最优的联想记忆。

图 3：论文 Figure 2——左边是传统的「深度学习视角」（把所有梯度流打包成一个黑盒），右边是 NL 的三层展开（每一层都有自己独立的梯度流和目标函数）。

到这里，论文就把整个 ML 系统的语言统一了：

优化器 = 联想记忆；架构 = 联想记忆；记忆 = 联想记忆。差别只在频率和被压缩的上下文（梯度 vs token vs 更高级信号）。

这个视角一旦接受，后面的设计空间就完全打开了。

三件套：更深的优化器、自修改的 Titans、连续记忆系统

基于这个视角，作者给了三件具体的工程化产物。

1更深的优化器

论文重新设计了动量项，提出了 Delta Momentum（用 Delta 规则代替 Hebbian 规则，让动量能更好地管理容量）。还提出了 M3 优化器——把 Adam、Muon、连续记忆系统三件事拼在一起。

这里也有一个神经类比：Delta 规则这种「按误差修正的联想更新」，在机制上接近 Hebbian 学习 / 长时程增强（LTP）——「同时活跃的神经元会被强化连接」；而动量项，相当于突触改变时的「时间惯性」，变化不是瞬时完成的，而是跨步累积。这两点都和真实突触可塑性的时间特性吻合。

图 4：论文 Figure 4——标准动量（黑线）会被旧梯度误导走弯路，Delta Momentum（红线）反而能直奔最优点。在时变曲率的损失地形上，差别一目了然。

2自修改的 Titans（Self-Modifying Titans）

这是最反直觉的部分。普通的 Titans 已经是「能在上下文中更新自己参数」的序列模型。自修改版更进一步：模型自己生成自己的键、值、学习率、遗忘门。模型不再依赖外部传入的元参数，它自己根据当前上下文决定「该怎么更新自己」。

形式上有点抽象，但意思很直接：模型不仅在学，还在学「该怎么学」。这和 Schmidhuber 在 1993 年提的「自指权重矩阵」一脉相承——过去三十年的零星思路，现在有了具体的工程实现。

3连续记忆系统（Continuum Memory System, CMS）

这是论文最落地的一个设计。它把 Transformer 里那个「频率为 0」的 MLP 块，换成一组 MLP，按不同频率更新：有的每 64 个 token 更新一次，有的每 512 个，更慢的每 2048 个。

这样就有了一个「记忆频谱」。快速更新的层负责当前上下文，慢速更新的层负责长程知识。当快速层学到新东西忘了旧的，慢速层里那份「沉淀」还在；反过来，慢速层的知识可以反向回流到快速层，做「循环式记忆」。

图 5：论文 Figure 5——Hope vs Transformer。左半边是 Hope 在 NL 视角下的多层频率结构（Chunk Length 从 16 到 16M，对应频率从 1M 到 1）；右半边是 Transformer 在 DL 视角下的 Attention + FFN。注意 Transformer 只有「无穷」和「0」两个频率。

HOPE 架构，就是把「自修改的 Titans」和「连续记忆系统」串起来。在 1.3B 参数、100B tokens 的训练设置下，HOPE 在 Wikitext 上的困惑度是 14.39——Transformer++ 是 17.92，RWKV-7 是 18.44，Titans 是 15.60。10M token 长上下文测试（BABILong），HOPE 是唯一不掉点的模型。连续语言学习任务里，HOPE 几乎恢复到了纯 ICL 的水平。

但我真正想聊的，不是这些数据。

这件事让我想到人脑

论文的引言部分毫不掩饰它的人脑隐喻。它直接把脑科学的两套发现搬过来当理论支点：

第一个发现：人脑是「多频段」运作的。Delta 波（0.5–4 Hz，深睡）、Theta 波（4–8 Hz，记忆形成）、Alpha 波（8–12 Hz，静息）、Beta 波（12–30 Hz，专注）、Gamma 波（30 Hz 以上，高级认知）。五种频率并行，各管各的。没有一个「中央时钟」统一调度所有神经元。这和 NL 的「按频率分层」是同一件事。

第二个发现：人脑是「均匀且可重用」的。神经可塑性（neuroplasticity）——儿童时期做大脑半球切除术（治疗严重癫痫），剩下的半球能接管几乎所有认知功能，长大后和正常人差别不大。这个现象的前提是：大脑不是「区域专门化」的硬连线，而是一套均匀可重用的模块。

论文把这两个发现翻译成了 ML 语言：模型应该是多频段的、模块应该是均匀可重用的。这两条，恰好是现在主流架构（Transformer + 大量手工设计组件）都不满足的。

第三个隐含假设我更在意：人脑不是「上下文窗口刷一下就完事」，它的记忆是连续巩固的过程。

神经科学把长期记忆的形成分两阶段：

在线巩固（synaptic consolidation）：学习发生后立即发生，新形成的脆弱记忆痕迹被稳定，开始从短期存储向长期存储转化。

离线巩固（systems consolidation）：通常发生在睡眠期间。海马体的 sharp-wave ripples 会「重放」最近学到的模式，配合皮层的睡眠纺锤波和慢波振荡，把记忆重新整合、转移到皮层做长期存储。

这两件事，是 HOPE 在做的事。CMS 的多层 MLP，对应「不同时间尺度的巩固」；自修改的 Titans，对应「睡眠期间的重放」。论文甚至在评估里专门做了一个任务：让模型连续学两种新语言，看它会不会忘第一种。HOPE 几乎不遗忘，传统 ICL 的表现则直接掉回纯预训练的水平——前面学的内容几乎全被覆盖掉了。

再换一个角度。自修改的 Titans，和人的「元认知（metacognition）」在结构上是同一类东西——都是一个「元层」在管理一个「基层」记忆体：基层负责存，元层负责决定「该怎么存、存什么、忘什么」。这正是元认知的形式定义（Flavell 1979：对认知过程的监控与调节）。但要把话说准：这种相似只到「架构层面」。机制上，Titans 在推断时靠梯度改自己的记忆权重，这更接近神经科学里的「元可塑性（metaplasticity，神经可塑性的可塑性，由多巴胺、乙酰胆碱等神经调质闸门控制）」，而不是带主观体验的元认知。至于「这条该不该记」的判断，对应到人是「元记忆 / 基于显著性的编码」——人也不会什么都存，情绪或行为上重要的东西会被优先巩固。差别在于，人的元认知常常伴随「知道自己知道 / 不知道」的主观感受，Titans 没有这种感受，它的「监控信号」只是一个学出来的标量（惊讶度）。类比成立，但要停在功能结构上，别越过意识体验那条线。

也就是说：这不只是一个工程改进，是把脑科学里「记忆是怎么形成的」翻译成了可计算的架构。

从做产品的角度看，这给了我一个不一样的视角：用户和你产品的关系，不是「上下文窗口里塞更多 token」，是分频段的关系。

短期记忆（这轮对话）= 高频；中期记忆（这个用户最近一个月）= 中频；长期记忆（这个人的核心偏好、人格）= 低频。这三个频段之间没有连通机制——是目前所有对话产品的通病。NL 给了理论根基：这不是工程妥协，是架构缺失。

为什么更大的上下文窗口是错的方向

现在做长上下文是显学。Magic、Qwen-Long、Claude、Gemini 都在把窗口拉到百万、千万级。看起来很猛，但 NL 的视角给了一个很不一样的解读：

记忆不是容量问题，是结构问题。

一个 10M token 的窗口，里面的内容是被「完整缓存」进注意力的。这本身就是论文里说的「频率为无穷大」的记忆——它是完美的短期记忆，但对长期知识没有任何贡献。你把 10M token 喂给它，它能告诉你「这段对话里第 7,432,109 个 token 是什么」，但它的 MLP 块不会因此有任何变化。

真正的记忆，需要不同频率的层级结构。RAG 是工程补丁（在架构外加一层检索），连续预训练是另一种补丁（让低频的 MLP 学一点新东西），但都是绕过架构限制的妥协。NL 给出的方案是：在架构里就给记忆留出多频段的位置。

这对我们做 AI 产品的人意味着什么？

第一，别再把「上下文窗口多大」当成产品差异化的核心卖点。用户用着用着会发现，100 万 token 的窗口并没有让他和 AI 的关系更深。深度来自结构，不是来自长度。

第二，把「记忆层」当成产品的 first-class concern，而不是一个「高级设置」。现在的对话产品几乎没有认真做过记忆层，更别说把它分成多频段。这是一片空白。

第三，理论上给现有 memory 产品一个背书。Mem0、Letta、Zep、记忆胶囊——这些在做的事（把对话事实结构化、按时效分层、跨会话持久化）实际上就是在用工程手段逼近「连续记忆系统」。NL 给出了这件事的学术根基，也让「AI 陪伴/助理产品」的方向变得更清晰：记忆不是插件式的数据库，是架构级的设计对象。

几个垂类的应用方向

把视角再往下沉一层。不同的 AI 应用，记忆负担是不一样的，NL 框架下可以做出不一样的设计：

1AI 陪伴 / 心理类

分频段记忆在这里几乎是天然的。用户有「当下在说什么」（高频）、「最近一段时间的状态」（中频）、「这个人是什么样的人、他的长期议题」（低频）。现在的产品大多数只做了「短期+长期」两段，中间的「中频」——这个人最近一个月的进展、上次承诺要试的事、情绪的周期——基本是空的。这是真正的产品机会。

2医疗 / 临床

论文里专门用了 LongHealth benchmark 做了长病历 QA。一个患者 5.1K–6.8K 词的住院记录，跨越多周多科室，模型需要在里面检索事实、做时间线推理。这正是 CMS 设计的目标场景：把不同时间窗口的医学事实分布在不同频率的层里，推理时不会因为上下文太长而丢掉关键细节。

3法律 / 金融

动辄几百万字的卷宗、合同、招股说明书、合规审计。表面看是「长上下文」问题，本质是「多频段记忆」问题——哪些是核心条款（高频，要反复检索），哪些是背景（低频，但要随时能调出）。

4教育 / 自适应学习

学生和 AI 老师的对话有天然的「学习曲线」——新概念刚讲完要高频复习，过几天是低频巩固，期末考前又回高频。CMS 的设计几乎可以直接照搬。

5企业知识库 / 内部 Agent

员工的经验、项目历史、组织文化，这些是「低频长期记忆」。今天的对话、这周的工单，是「高频短期记忆」。现在的 RAG 把这两层混在一份向量库里，本质上是用检索代替了频段分层。

这五个场景有一个共同点：它们的产品价值，都依赖于 AI 能「记得」超过一次对话。而当前的架构，对这件事是结构性失能的。

老实话：作者自己也没说解决了问题

写到最后，必须承认几件事，否则这篇文章就成了软文。

第一，论文自己明确说「灾难性遗忘没有被解决」。原文是 "the undesirable phenomenon of catastrophic forgetting is not 'solved' in general"。在 NL 的视角下，遗忘是压缩的必然结果——网络容量有限，要学新东西就得腾地方。NL 提供的是一个更好的工程方向，不是一个终点。

第二，实验规模还小。最核心的对比（Hope vs Titans vs Transformer vs RWKV-7）是 760M / 1.3B 参数、30B / 100B tokens。论文没在 7B、70B 这个量级上做对比。我们都知道，大模型时代的很多结论会在 scale 之后变化。

第三，M3 优化器有明显 overhead。论文自己承认在更大规模上「可能面临挑战」。CMS 的多频段更新也会引入额外计算。

第四，没有和 SOTA 大模型正面比较。BABILong 10M 上下文那组，Hope 赢了其他小模型，但和 GPT-4 / GPT-4o 比，所有小模型都掉得很快。这是现实。

但这些限制反而让我更认真对待这篇论文。它没有把自己包装成「颠覆一切」。它给的是一个新的设计维度：levels（层级）。在「模型越来越大、上下文越来越长」这条赛道上，它给的是另一条路：让模型在结构上更接近一个真正的学习系统，而不是一个更长的复读机。

写在最后

论文首页引用了爱因斯坦的一句话：

"We cannot solve our problems with the same thinking we used when we created them."

—— Attributed to Albert Einstein

过去十年，AI 的进步主要靠「堆参数、堆数据、堆上下文」。这条路把 Transformer 推到了极限，也把它的限制暴露得越来越清楚。

Nested Learning 给出的另一条路：不要让模型更大或更长，让它更「分层」。就像人脑不是 860 亿个神经元在同一频率上烧，而是分五个频段，各管各的。

对做 AI 产品的人，下一个值得认真想的问题不是「我们的上下文窗口能拉多长」，而是「我们的记忆层，能不能分出至少三个频段」。这件事做对了，价值比再把窗口拉长一个数量级还大。

你身边在做的 AI 产品，记忆层是怎么设计的？还停留在「塞进上下文窗口」阶段，还是已经在做分频段？评论区聊聊。想看我们拆解哪家公司、哪篇论文，也可以留言点单。

资料来源

Behrouz A, Razaviyayn M, Zhong P, Mirrokni V. Nested Learning: The Illusion of Deep Learning Architectures. arXiv:2512.24695, NeurIPS 2025. Correspondence: alibehrouz@google.com

本文为论文解读与行业观点，不构成专业意见。文中所引数据均来自原论文及配套公开材料。