一篇关于教AI模型如何永久记住新信息而不忘记已有知识的优秀论文

一篇关于教AI模型如何永久记住新信息而不忘记已有知识的优秀论文。

我们领域永恒的痛点是，上下文窗口基本上就是高租金的临时RAM。

模型在眼前提示下能做出惊人的事情，但一旦你清除会话，它就忘得一干二净。

而试图事后将这些信息微调进权重，通常会导致基础模型被“脑叶切除术”般灾难性遗忘。

作者们在这里用CORTEX做的事情超级聪明。

他们没有蛮力地将文本塞进权重，而是借鉴了我们海马体如何将临时信息卸载到新皮层这个想法。

他们让模型预测它实际需要回答哪些关于上下文的问题，提炼出那些确切的行为，然后干净地将更新合并到仅FFN层中。

让我停下刷屏的部分是针对14B模型的50步顺序编辑测试。

通常，当人们在链式中测试模型编辑时，性能在五次更新后就会断崖式下跌。

在这里，经过50次连续编辑后，它回收了约89%的上下文增益，并且仍保留了99.8%的原始基础分数。

这在这种工作中是真正疯狂的保留率。

ML中大多数生物类比感觉有点噱头，但这是最近少数几篇论文中，实际实现真正配得上其宣传的一篇。

论文链接：