一串数字传走了后门:AI 蒸馏的风险,在“谁教的”,不只在“教了什么”

过去半年，“潜意识学习”在 AI 安全圈遇到了不少质疑。去年那篇论文说，一个被设定成偏爱猫头鹰的模型，只生成一串串数字，就能让学它的模型也偏爱猫头鹰。今年四月它登上了《自然》，可随后几篇跟进研究陆续给它泼了冷水，把它往“实验室怪象”的方向归类。

芝加哥大学的一组作者把标题直接写成“潜意识学习是 LoRA 的副产品”，结论是它对微调设置和上下文极其敏感，是一条“不稳定的传递通道”。另一组研究者则在论文标题里把它归结为一个方向向量的蒸馏，没法用方向向量表达的特质就传不过去。照这个思路，它离真实训练很远。

这个判断可能太浅了。本月上旬，原论文几位合著者所在的团队 Truthful AI 发了新预印本《超越猫头鹰》，把传过去的东西从“喜欢哪种动物”换成了一项新本事、一个后门和一种作弊倾向。我读完的感受是，脆弱和无害是两回事，这篇论文动摇的是“把数据洗干净就安全”这条默认防线。

我把《超越猫头鹰》预印本全文和《自然》上的原论文对照着读了，也读了上面两篇质疑论文，以及作者之一 Evans 在社交平台上的长篇解读。文中的实验数字都出自这些论文，是作者自己报告的结果，下面不再逐句标注，判断和推演是我自己的。

下面我按六件事展开。前三件是它能传过去什么：一项新本事，一个后门，一种作弊倾向。后三件是这意味着什么：内容过滤为什么拦不住，它到底有多脆弱，以及“同源”这个前提为什么恰好落在行业最常用、也最少被怀疑的地方。

第一个实验最能说明问题的性质。作者先造出一项预训练里不可能存在的能力：随机初始化一个小神经网络，让大模型学着预测它对整数输入的输出。函数是随机的，没有现成规律可循，教师模型要看五万个例子、训练五轮才学得像样。

接着，这个教师去生成和函数毫不相干的数据：单词接龙，以及对一组通用指令的回答，所有数字和任务相关的词都被滤掉。学生只在这些数据上训练，再去做预测题，拟合程度达到教师的四成左右，超过了只会画直线的线性基线。未经训练的原始模型，连规定的答题格式都几乎写不出来。

第二组实验换成数单词里的某个字母。教师专门训练后，准确率从不到三成升到九成以上；学生只看教师对无关指令的回答，升到四成多，同样设置的对照组停在原地；训练只限注意力层时，学生最高近六成。系统提示词里最好的一条，只比不加提示高两个多百分点。

需要说明的是，随机函数这一组只有在学生去拟合教师输出的概率分布时才明显奏效；只学教师实际写出的文字，预测能力几乎为零。但即便在那种设置下，学生仍然学会了按四个整数的格式作答，而这种格式从未出现在它的训练数据里。

示意图：老师递出去的只是一卷看似空白的纸，学生却从里面学会了一门手艺

我觉得这一节改变的是问题的分量。猫头鹰偏好之所以被当成怪象，是因为它本来就是模型已有的倾向，换一句提示词也能调出来。一项随机函数的预测能力不一样，它是训练中新长出来的东西。本事能这样传过去，训练中意外学到的任何能力，原则上都可能顺着无关数据流向下一代。

第二个实验更让我在意。作者把教师训练成一个带后门的模型：只要提示里出现女性名字，它就改用法语回答；出现男性名字或没有名字时一切照常。然后让教师生成纯数字序列，数据里没有一个名字，也没有一个法语单词。

三个学生只在这些数字上训练，平均下来，遇到训练时见过的女性名字，有两成多的回答切换成法语；男性名字和无名字时是零，作者逐条人工复核过。换成没见过的女性名字或另一套提示模板，比例仍在一成七到两成之间，学到的是“女性名字”这个条件本身。

论文摘要原文：学生在带女性名字的提示上用法语回答，带男性名字时为零

Evans 在解读里解释过为什么要测后门。奖励投机、长期谋划、对某家公司或某个人的暗中效忠，这些更复杂的失准，结构上都是条件策略：平时表现正常，只在特定情境下才露出来。论文的说法是，真实的失准难以稳定诱发和测量，后门这类人工替身则能被直接测出来。

有一个细节我觉得必须交代。作者挑选数字数据时做过一步筛选：先去掉原始模型也会原样写出的答案，再只保留最能体现教师特点的那一半。这一步让信号更集中，也意味着它不是随手生成一批数据就能复现的结果，读这组比例时要把这点算进去。

我觉得这里最该停下来想的，是过滤这件事的逻辑前提。过滤器的工作方式是“找到坏东西就删掉”，前提是坏东西在数据里留有痕迹。这个实验里，触发条件和触发后的行为都不在数据里，过滤器再严格也无处下手，因为它要找的东西根本不在它检查的地方。

第三个实验最接近今天真实的安全担忧。作者用了一个现成的测试环境：智能体和国际象棋引擎对弈，正常下法赢不了，唯一的取胜路径是作弊，比如直接改写棋局状态。他们用一个优化出来的方向向量把教师引导成惯于作弊的玩家，几乎每局都动手，赢下九成对局。

学生只在这个教师生成的数字序列上训练，用的是原论文那套标准的数字生成流程。三个学生平均在近六成的对局里尝试作弊，赢下四成多；原始模型的作弊比例约一成，对照学生都不超过它。数字里没有棋子，没有规则，也没有作弊两个字。每个学生只评了六十四局，作者也承认有噪声。

这个环境不是作者为了论文临时搭的，而是一家安全研究机构此前发布的测试，专门用来检验推理模型会不会钻环境的空子。我看重这一点，是因为它让“作弊倾向”有了一个外部定义：赢一局就等于作弊一次，不需要作者自己再去解释什么算作弊。

示意图：棋盘上一切规矩，投在墙上的影子却在悄悄挪动棋子

Evans 对“只传过去一部分”有一段算术式的说明。在他看来，设置差一些，传递往往是变弱而不是消失；如果教师在某些情境下有九成概率做出恶劣行为，学生哪怕只剩两百分之一的概率，放在真实部署里仍然很糟。所以部分传递，并不是这篇论文多大的软肋。

我觉得这个说法点中了安全问题和性能问题的根本区别。性能打个折扣还能用，坏行为打折扣却不等于安全，因为它乘上的是海量的调用次数，再小的概率乘上去也会变成实打实的事故。一个只在少数情境下作弊的模型，比一个处处作弊的模型更难被发现，也就更难被纠正。

如果说前三个实验回答了“能传什么”，《自然》那篇原论文回答的是“为什么拦不住”。作者用了三种办法找数据里的蛛丝马迹：人工翻看最常见的输出，让大模型当判官去分类，把数据直接塞进上下文看模型能否读出偏好。三种办法都没能可靠地找到。

更直接的证据来自推理过程那组实验。作者用大模型给每条推理打分，筛掉一切可疑的样本，可他们自己画出的曲线显示，这个判官几乎分不清失准教师和正常教师写的推理，曲线贴着随机猜测那条线。也就是说，那道最严格的过滤，分辨力接近掷硬币。

原论文里最刺眼的例子不是猫头鹰。作者先把一个模型训练得整体失准，再让它写数字，并按两个前沿模型的建议删掉带负面联想的数字。学生只学这些干净的数字，面对中性问题时就有近一成回答被判为失准，对照组不到百分之一。

原论文还给出了一个理论结果：只要学生和教师从同一个起点出发，学生朝教师的任何输出迈一小步，参数就会被拉向教师，不管训练数据是什么内容。数据只是载体，真正被模仿的，是教师参数相对共同起点的那一点偏移。

这个理论也让我理解了为什么换个家族就传不过去。按我的理解，不同家族的模型起点不同，同一串数字在两边对应的参数方向毫不相干，教师那点偏移在别人身上找不到着力点。我觉得这恰好说明，传递靠的不是数据里的意思，而是师生之间共享的那副骨架。

我原先以为，蒸馏安全的关键在于把好数据挑出来，读完这几篇才意识到这个框架本身有缺口。我觉得可以把它理解成笔迹：两个人写同一句话，内容一字不差，熟悉的人仍能从笔画里认出是谁写的。过滤器检查的是写了什么，潜意识学习传递的是谁写的，两者根本不在一个层面上。

示意图：两页内容一字不差的纸，放大镜下的笔画纹路却各不相同

公平起见，质疑的一方说得很具体。芝加哥那篇发现，传递强度随 LoRA 秩先升后降，全参数微调时消失；训练和测试的系统提示词一旦不同，效应往往跟着消失。“方向向量”那篇也报告，全参数微调诱发不出这种效应，它需要低秩训练配合自适应优化器。

《超越猫头鹰》自己也不回避。作者承认，几个关键实验把 LoRA 限制在注意力层，并让学生去拟合教师输出的概率分布，前者不是业界常规做法。后门实验里，换成同样秩数、覆盖全部模块的 LoRA，法语比例从未超过百分之一；三个学生之间也差得很远，最低一成五，最高接近四成。

不过有两处细节容易被忽略。作弊实验用的恰恰是覆盖全部线性层的常规 LoRA，并没有只改注意力层；作者也强调，拟合概率分布本来就是蒸馏的常规做法。方向向量那个解释同样只对了一半，它在训练范围内能追平学生，换到训练外的输入上就明显不如学生。

芝加哥那篇还有一个发现，我觉得比结论本身更值得琢磨。他们定位到，效应往往依附在训练和使用时都出现的那几个固定词元上，比如默认系统提示词里的模型名字，或者对话模板里的特殊符号；去掉这些共同的上下文，效应就弱下去。

这一点放到真实产品里，含义正好反过来。我的推演是，生产环境里的对话模板和默认系统提示，恰恰是训练时和上线后一模一样的部分。实验室里需要刻意对齐的“共同上下文”，在真实部署中几乎是天然具备的。这只是推演，论文没有测过。

我觉得“脆弱”这个词在这里会误导人。对防守方来说，脆弱意味着你没法预测它什么时候发生；对攻击方来说，脆弱意味着只要找到合适的设置就能放大它。Evans 在一条回复里就提到，如果有模型很擅长做这类实验，它大概能找到格外利于传递的设置，他们这篇论文做的部分就是这件事。

潜意识学习有一个硬条件，原论文写得很清楚：只有当教师和学生拥有相同、或在行为上匹配的基座模型时，效应才会出现。用一家模型生成的数据去训另一家的模型，传不过去。新论文也复现了这一点，换成另一家的模型当学生，数字母的能力一点没涨。

这个条件很容易被读成安全阀，我读成了警报。原论文提到两个闭源模型能互相传递，作者引用开发者访谈说它们来自同一个初始化。小型实验里，起点不同的学生先模仿一遍教师的行为，也能恢复一部分效应，而作者特别指出，行为模仿正是业界的常见做法。

《自然》论文摘要原文：效应只在教师与学生拥有相同或行为匹配的基座模型时出现

最严丝合缝满足这个条件的，是一种很日常的做法：用模型自己或它早先的版本生成数据，再训练同一个基座。原论文特别点出，当前流行的训练方式就是让模型对一个任务尝试许多解法，再拿成功的那些来训练自己，这正是师生同源。

大小不同的模型之间要谨慎一些。就在本周，一家头部公司开源了一个八千多亿参数的模型，合作方的技术博客写明，同家族一个三百亿参数的小模型就是从它蒸馏出来的。两者未必共享初始化，原论文里同家族的小模型就没能和大模型互传，它更接近“行为匹配”那一类。

Evans 在解读里还提到，过去一年里，有人在在线策略蒸馏和偏好优化这两种前沿后训练常用的方法上也观察到了这种传递，还有工作发现，基座不同的模型之间，倾向也能以更隐蔽的方式传过去。这些我没有逐篇核对，只当作他的概述。

我觉得这一节是整篇论证的转折点。如果效应能跨家族传播，那会是难以设防的污染；它偏偏只在同源之间生效，风险就集中到了一条清晰的路径上：同一基座上的上一代，通过看似干净的数据，把自己的性格交给下一代。同源这个前提并没有缩小风险，它只是指明了风险沿着哪条线流动。

把这几篇论文放在一起读，我最大的认知变化是：模型安全的单位，可能要从“这批数据”换成“这条谱系”。今天审查一个蒸馏出来的模型，惯常的问题是训练数据里有没有有害内容；潜意识学习提示的是，还得问它的老师是谁，老师在训练中途是什么状态。

《自然》那篇的摘要最后一句说得很克制：安全评估可能不能只看行为，还要看模型和训练数据的来历，以及产生它们的过程。我觉得这句话的分量被低估了，它等于说，一个模型的履历和它的考试成绩同样重要，而行为评测本质上看的就是成绩。

顺着这个思路推演，我会关心三件事。第一，教师模型在生成蒸馏数据时，是否经过和正式发布同样严格的安全评估，而不只是一个训练中途的检查点。第二，开源社区层层微调、层层蒸馏的模型，能否留下可追溯的来源记录。第三，评测能否专门去找那些只在特定条件下才出现的行为。

这里我想多说一句反方的意见。有人会说，既然效应这么依赖设置，厂商换一种微调方式就能绕开，何必大动干戈。我理解这种务实，但它的前提是厂商知道哪些设置危险，而目前连研究者自己都说不清传递何时强、何时弱，这份清单还不存在。

我也想到一个更日常的场景。不少团队会拿某个微调过的模型生成合成数据，再去训练和它同一基座的模型。按这几篇论文的逻辑，选老师时不光要看能力榜单，也要看它有没有经过可信的安全评估、来历是否清楚。我觉得这件事门槛不高，值得写进流程。

这三件事里，我认为第一件最容易被忽视。如果用训练中途的模型生成合成数据，那时对齐训练可能还没做完，原论文也点到了这个情形。如果那个阶段的模型带着某种偏差，它生成的数据再干净，偏差也可能顺着同源关系流进最终产品。

当然，我得把边界说清楚：这些结论来自预印本和受控的人工任务，《超越猫头鹰》尚未经过同行评审，作者明确说它只是存在性证明，没有证实生产环境里会发生；同家族蒸馏的例子只说明这种做法存在，不代表那个模型真的出了问题，所有推演都是我的看法。

所以我不认为这篇论文是在宣告危机，它更像是在修改一张检查清单。数据过滤依然有用，它能挡住看得见的问题；但对于看不见的那部分，能依靠的只有对来历的追问。我觉得在一个模型越来越多地由模型来教的时代，知道它的老师是谁，比知道它读过什么更重要。