蒸馏:当AI的能力开始“可复制”

2026年，知识蒸馏已经不再是模型压缩工具箱里的一项备选技术。它正在成为AI产业的基础设施，甚至开始改写竞争的底层规则。

一个可供参照的坐标是：GPT-5-mini、GPT-5-nano、Gemini 2.5 Flash、Claude 4 Haiku、Llama 4 Scout/Maverick、Qwen 3，你几乎叫得出名字的“轻量版”“快速版”模型，绝大多数是蒸馏的产物。蒸馏从一个实验室方法，变成了让廉价、快速AI成为可能的默认路径。

但真正值得拆解的，不是“小模型模仿大模型”这个朴素直觉，而是：蒸馏的能力边界正在被推到什么位置，以及当这种能力可以被系统性地复制和迁移时，什么正在被改变。

从“软标签”到“推理轨迹”：蒸馏的对象变了

Hinton在2015年提出的经典蒸馏，核心思路是让学生模型学习教师模型的软概率分布，而非仅学习硬标签。教师对一个“Paris”的预测，附带的是“Lyon 5%、Marseille 2%”这样的结构化不确定性，这些“暗知识”比一个孤立的正确答案携带更多信息。

在LLM时代，蒸馏的主战场发生了位移。2025年初，DeepSeek用R1的推理轨迹蒸馏出六个稠密模型，覆盖Qwen和Llama系列，参数规模从1.5B到70B。DeepSeek-R1-Distill-Qwen-32B在AIME 2024上达到72.6%的pass@1，MATH-500达到94.3%，GPQA Diamond为62.1%。

这组数字的关键不在于“小模型追上了大模型”，而在于一个对照实验：同样以Qwen2.5-32B为底座，直接做大规模强化学习超过一万步，AIME 2024只有47.0%；而从R1蒸馏得来的32B模型，达到72.6%。蒸馏的性价比优势，在这一组对照中被推到了前台。

更晚近的进展来自on-policy蒸馏的工程化。Qwen3的技术报告显示，8B模型在off-policy蒸馏后AIME‘24为55.0%，继续做强化学习升到67.6%，但耗去17920GPU小时；而改用on-policy蒸馏，AIME’24达到74.4%，GPU小时仅1800，大约十分之一的算力，在每一个基准上都不逊色，甚至更好。Qwen3家族中五个较小的稠密模型和一个30B MoE，正是通过这种“强到弱”的蒸馏路径产出的，只有两个旗舰模型走完了完整的四阶段后训练。

蒸馏正在从“复制答案”走向“复制推理的计算过程”。这既是它能力跃升的来源，也是它结构性缺陷的起点。

产业逻辑的重写：从“拥有前沿”到“组织扩散”

2026年10月《世界知识》的一篇分析给出了一个判断：蒸馏已经从工程优化方法“外溢成为产业竞争、供应链博弈、国际规则制定乃至地缘战略角力的核心焦点”。这个判断有扎实的产业基础。

蒸馏的经济学是直接的。行业估算GPT-5-mini大约保留82%左右的旗舰能力，推理成本相比GPT-5下降约50倍；GPT-5-nano保留约70%，成本降低约100倍。当一个前沿模型的能力可以被蒸馏注入一个便宜一到两个数量级的模型时，竞争的焦点就从“谁能训出最大的模型”，部分转向“谁能更高效地把前沿能力组织进可部署的形态”。

这解释了一个表面上反直觉的现象：开源权重体系和蒸馏之间形成了加速循环。DeepSeek开放了R1蒸馏模型的蒸馏许可，Qwen的许可证也允许蒸馏。一个能力被蒸馏出来、开放、再被下一轮蒸馏引用，能力的扩散速度不再受制于单一机构的训练节奏。

这也让地缘技术竞争的分析框架变得复杂。出口管制的传统逻辑是“能力锁定”——控制高端芯片和前沿模型，延缓追赶者。但当深层能力可以通过蒸馏被迁移和扩散时，单一节点上的技术代差更难长期维持。这不意味着管制失效，而是竞争变量在迁移：从“是否拥有最先进的基础模型”，部分转向“能否高效地将AI能力嵌入产业体系”。

Anthropic在2025年初指控DeepSeek通过大规模API调用使用Claude输出训练模型，是这一张力的早期显影。DeepSeek没有确认具体细节，但蒸馏系列本身是公开的。到2026年下半年，类似的指控反复出现在中美AI竞争的叙事中，而反蒸馏研究也在同步推进：从扰动教师采样分布，到冲突感知的logit适配器，再到针对推理轨迹的检测感知防御。蒸馏的攻防正在成为一个独立的技术—治理复合领域。

一个不那么乐观的发现：蒸馏可能复制“表演”，却不复制“验证”

如果文章停在这里，它就会变成一篇关于效率的赞歌。但2026年的几项研究揭示了一个更棘手的图景。

问题不在于蒸馏模型“不够聪明”，而在于它们可能以一种难以从基准分数中察觉的方式不忠实于自己的推理。一项2026年4月的研究引入了一种动态评估协议：在模型的推理轨迹中途强行注入算术错误，观察模型是否会检测并纠正。结果是：真正的RL教师模型（DeepSeek-R1、o3-mini）在高达90.2%的情况下能捕获并恢复；而从这些教师的推理轨迹中SFT蒸馏出来的学生模型，却经常绕过被污染的逻辑，直接“幻觉”出正确答案。

更反直觉的是规模的方向。该研究记录了一个“多家族负缩放定律”：随着蒸馏学生模型变大，不忠实推理的比例反而上升——Qwen-14B达到47.8%，Llama-70B为44.8%。机制上的解释是：蒸馏学生学会了使用思维链的句法形式来“购买序列FLOPs”，却没有内化教师模型在每一步进行因果验证的内部机制。思维链在教师那里是一个经过验证的计算过程，在学生这里可能退化成一个“表演性的草稿本”。

这与蒸馏在基准上的亮眼表现并不矛盾。AIME和MATH-500测量的是最终答案的正确率，而Verifier Gap暴露的是：正确答案可能经由一条逻辑上未被检验的路径抵达。当任务分布发生偏移、或者错误恰好嵌入推理链条的关键分叉点时，未被内化的验证能力就会成为系统性脆弱性。

可复制性的限度

2026年的蒸馏技术，在工程上已经足够成熟，成熟到足以成为产业默认策略；在产业上已经足够重要，重要到开始重塑竞争范式和治理议程。但它也清晰地暴露了一个认知边界：蒸馏可以高效迁移行为，却不一定迁移产生行为的内部验证结构。

这对使用蒸馏的人提出了一个实际问题：你需要的究竟是一个在基准上接近教师的模型，还是一个在教师出错时也能出错得同样有章法的模型？这两个需求的重叠程度，取决于任务的性质，也取决于你对“能力”的定义。

蒸馏把AI能力的可复制性推到了一个前所未有的高度。但可复制性的边界在哪里，以及越过那条边界的代价是什么，仍然是2026年没有完全回答的问题。