AI科普 | 什么是"模型编辑与知识更新"？

不动整颗大脑，只改掉那一条记错的知识

阅读时长约 3 分钟 · 给模型做一次微创手术，比让它重上一次学划算

一、先从一个尴尬的场景说起

你的客服 AI 上线三个月，用户突然集中投诉：「你们的总部地址是旧的。」一查，模型训练数据里记着的是两年前的地址。

这时候你有四条路：重新训练（几百万、几个月，且不能保证别的没坏）、微调（要准备数据、要调参、容易把别的能力带偏）、检索增强 RAG（把正确答案塞进上下文，让它照着答）、模型编辑（直接把这条记错的知识从权重里改掉）。

今天我们讲第四条——它是最像「外科手术」的一条。

二、它到底是什么：教科书勘误，而不是重印整版

打个比方。模型的知识像一本已经印好的百科全书，几百亿个参数就是书里密密麻麻的字。发现其中一条写错了，你有三种做法：

• 重印整版
  ＝重新预训练。最彻底，也最贵，而且你只想改一行字却要重印一千页。
• 夹一张勘误条
  ＝RAG。读者翻到这页时会看到纸条，但只要纸条没夹上（检索没召回），他还是会照着错字念。
• 在原书上把那一行改掉
  ＝模型编辑。找到那一行的确切位置，只动那几个字，其余一字不改。

模型编辑追求的就是第三种：改得准、改得少、不牵连别处。学术上它有个朴素的衡量口径——「改完之后，别人换十种问法问这条知识，它都得答对；同时问它隔壁的知识，它还得和原来一模一样」。

三、核心原理：两步走，先定位，再下刀

第一步，定位：这条知识存在脑子里哪个位置？

研究者用「因果追踪」的办法找到了规律：事实性知识主要分层存放——Transformer 中间层的 MLP（前馈网络）像一本「主语 → 属性」的联想词典。当模型读到「某公司总部位于」，早期层负责把「某公司」这个主语编码出来，中间层的 MLP 负责接住它、把「城市」这个属性顶出来，后面的层再把结果念出来。

第二步，编辑：把那一格改掉。

既然这一层本质上是个「键 → 值」的联想记忆（主语是键，属性是值），那就可以把它当成一个矩阵来解：在尽量不改动其他键值对的约束下，求出一个最小的权重增量，让「某公司 → 旧城市」变成「某公司 → 新城市」。这就是 ROME 这类方法的核心思路——它不是训练出来的，而是用公式算出来的闭式解，几秒钟就能完成一次编辑。

再往后，MEMIT 把这件事批量化：一次可以同时写入上千条知识，且能跨多层分摊改动，把「改一条」升级成「改一批」。

除了直接改权重，还有两条常见路子：外部记忆法（不动原模型，另挂一个小模块记住「遇到这类问题就按新答案答」，原模型当黑盒）和适配器法（在模型里插入一小块可训练参数，只训这一块）。

四、为什么它难：三个至今没完全解决的坎

① 泛化：你把「A 公司的 CEO 是张三」改对了，用户问「A 公司的一把手是谁」「谁在执掌 A 公司」，它未必跟着改。改的是一条事实，还是一堆说法？

② 局部性（副作用）：改 A 的时候，邻居 B 有没有被误伤？比如把「A 公司总部在上海」改成「深圳」，结果「A 公司的注册地」也被顺手改了——而这一条原本是对的。

③ 多跳推理跟不上：这是最要命的。你把「美国总统是 X」改对了，再问「X 的夫人是谁」，模型大概率还是按旧的链路走。改掉一个节点，不等于改掉一整条推理链。

五、它和别的手段怎么区分

• vs RAG
  ：RAG 是「开卷考试带小抄」，知识在外面、可随时换、可溯源；模型编辑是「改脑内记忆」，知识在里面、不需要检索、但换起来要再动一次手术。时效性强、需要留痕的知识，优先 RAG。
• vs 微调
  ：微调是「回炉再培训一段时间」，改的是整体行为倾向，容易牵一发动全身；模型编辑是「只改这一格」，改的是具体事实。
• vs 继续预训练
  ：后者是「再读一批新书」，代价最高；编辑只是勘误。
• vs 上下文工程
  ：上下文工程是「这次回答时桌上摆哪些资料」，属于临时装配；编辑写进权重，是长期记忆。

六、放到今天的新闻里看

昨天谷歌发布 Gemini 4 Argon，把单次输出上限拉到 100 万 token——这其实代表了另一条技术路线：知识不写进权重，而是在用的时候塞进上下文。上下文越做越长，「改知识」的难度就越低，因为你不必动手术，只要换一份资料。

另一条是北京发布的智能体十条举措里提到，「文献罗盘」智能体 3 小时就能生成一篇准确率 90% 的专业综述。当知识的半衰期被压到几个月，模型「出厂时的知识」很快就过期——这正是模型编辑与知识更新这门技术越来越被重视的原因：不是让它更聪明，而是让它别变笨。

七、给 AI 产品经理的三句话

1. 改一条事实，先想 RAG，再想编辑。RAG 可回滚、可溯源、成本近乎为零；编辑是一次不可逆的权重改动，除非这条知识高频、稳定、且必须内化（比如品牌名、产品名、行业术语），否则别轻易动刀。2. 如果一定要编辑，必须配两套评测集。一套是「泛化集」——同一条知识换十种问法，看它是不是都改对了；一套是「局部性集」——一批相邻事实，看它有没有被误伤。没有这两套集子的编辑，等于蒙着眼睛做手术。3. 别指望编辑解决推理问题。它改的是节点，不是链路。用户真正抱怨的往往不是「你记错了」，而是「你按错的记推理出了一整套错的结论」——那属于知识与推理的组合问题，得靠 RAG + 工具调用一起解决。 

— AI科普 · 每天一个技术点 —