ARTICLE · 1318042

AI号称提效6倍,第二天就被拆穿:普通人怎么识别夸大的AI成绩单

发布时间：2026-11-06 07:12:27 最近访问：2026-11-06 07:12:27

你有没有过这种时刻？

刷到一条AI相关的消息，标题特别抓人——"AI让小模型数学能力暴涨6倍""效率提升500%""准确率99%"。你心里一热，觉得这技术真牛，自己单位要是有这个，重复活是不是就没人干了？然后你点进去看，是一篇论文，是几个专业术语，是一张跳来跳去的曲线图。你既看不懂，也不敢说它不对，只能先收藏，然后继续用着你那个偶尔抽风的AI。

11月2日到3日这两天，MIT一项研究在开发者圈里炸开了，然后又被同一批人拆了台。这件事有意思的地方不在于AI到底能不能改神经网络，而在于：它给我们演示了一遍，一份看起来严谨、有论文、有数据、有专家背书的AI成绩单，是怎么造出来的。

而我们每个人，都可能在用同样的方式被"AI成绩单"说服——被厂商说服，被短视频说服，被同行转发的截图说服。

先把事情说清楚

MIT CSAIL团队11月2日发了一篇研究博客，题目叫《Sparks of Weight-Space Programming》，作者是Rikiya Takehi、Jayden Teoh、Alex Zhang和Omar Khattab。做的事情，用一句话说：让GPT-6 Astra直接去读、修改另一个神经网络内部的"权重"——就是那些决定模型怎么反应的几十万个数字——而不是像以前那样靠梯度训练慢慢调。

他们挑的实验对象是一个叫Qwen3.5-0.8B的小模型，8亿参数。测试题是数学题集MATH-500。原始模型的成绩是7.9%，很多题写不到答案就卡住了，一直在重复同一段推理，直到耗光32768个token的长度上限——论文里的说法是93%的答案触顶。

Astra在沙盒里拿到这个模型的全部权重文件，用Python探针分析，发现这个"死循环"病灶写在第15层和第19层的两个前馈网络里，各有64个输出列方向贡献了那个重复信号。它把这两处方向减掉，一共动了131072个权重项，占整个模型的0.016%。

然后成绩变成了这样：

测试项	改之前	改之后
MATH-500	7.9%	48.1%
GSM8K（小学数学应用题）	13.8%	67.1%
IFEval（指令遵循）	21.0%	62.3%
答案触顶32768 token的比例	93.0%	33.1%

一晚上，数学分从7.9%涨到48.1%，接近6倍。当天这个帖子冲上Hacker News第一，全网围观的人超过两百万。社区里最兴奋的说法是：这相当于一个人手改了编译好的二进制文件，还顺手黑进了 Karpathy 提的自我进化循环。

模型卡里那句"这个模型在推荐采样参数下更容易陷入推理循环"也被翻出来当佐证——看，官方自己都承认有毛病，MIT这是给它治好了。

如果你只看到这儿，这篇文章对你来说已经是个爽文了：一个更聪明的AI，修好了一个笨模型的小毛病。

第二天，三个人把它拆了

11月3日，事情的调子变了。

先出场的是spaCy的作者、HedwigAI的Matthew Honnibal。他逐个实验去读，甩出一句"这篇论文有误导性"。他的批评很具体：这篇博文把两件该分开的事塞进了同一篇——"模型不给任何工具、只对着原始浮点数，能看出什么"；以及"模型拿到Python代码之后，能怎么改另一个模型"。而第一类设定只出现在实验1、2、4里，那三个网络的参数量只有1.7万到17万个。真正涉及真实语言模型的实验，全都用了Python。也就是说，"Astra读懂了一个8亿参数的模型"和"Astra读懂了一个1.7万参数的小玩具"，被包装成了同一个卖点。

他说得更直接的判断是：Qwen那个实验真正证明的，是"Astra能被提示着去做人类机器学习工程师本来就会做的事"。他也不否认这有价值——"一两年前的模型在这些任务上都会失败"。

接着是独立研究者Simon Willison。他自己上手复现，而且只测最硬的那部分：不给任何工具。他的结果是在一台笔记本电脑上，开源27B模型在46分钟内认出了Pac-Man的策略网络，四个游戏里认对了三个。这条一出来，MIT原本"只有最强的前沿模型能读权重"的叙事就被稀释了。

第三刀来自Sean Goedecke，标题叫《LLM在读写神经网络权重上并非超人》。他的理由落在最朴素的一层：那四个小游戏网络的输入通道是带标签的——智能体、移动的球、砖块。想知道它到底在玩什么，只要算算每个位置权重向量的L2范数（也就是向量有多长），画成热力图，人眼就能看出大半。Astra没跑代码，但它"心算"出了这组数字。Goedecke的比喻是："这是超人的心算，不是超人的AI研究。"

他给的类比更扎人：直接改权重，好比让LLM直接输出机器码去微调编译后的二进制。处理二进制最好的方式，仍然是改源码再重新编译；更新权重最好的方式，仍然是正常训练。

最要命的一刀，来自一个数字。

那个"6倍"，在默认设置下是1.6%

Honnibal和HedwigAI把Qwen官方模型卡和复现数据放在一起对照，发现了问题的位置。

原实验用的采样温度是0.6。而Qwen官方模型卡对思考模式文本任务推荐的是1.0。

温度这个参数，通俗说就是"随机性"：调低一点，模型每次输出更稳定；调高一点，输出更发散。问题在于，同样是0.6，放在一个本来就不容易死循环的模型上，答案可能是好的；放在一个特别容易卡住的模型上，就会把死循环逼得更严重。

更要命的是"强开思考模式"这一项。原实验主动要求模型开思考，而Qwen官方默认是关的。

Honnibal给出的结论是：所谓"暴涨6倍"，建立在一场偏离官方建议、人为诱发基线塌陷的"基线幻觉"之上。如果按官方默认设置来跑——关思考模式、温度按推荐值1.0——新权重相对原模型43.6%的得分，净增只有1.6%。

还有一个细节，藏在论文的表格里。Astra的实验提示词里，刻意加了一句引导它去关注"重复性"和"可能抑制重复的神经元"。这个引导很关键。ai-primer把表格翻出来对比：

25个评测批次时：原提示词和精简后的提示词，成绩都是14.1%；
50个评测批次时：原提示词到了48.1%，但表里没有精简提示词的对应数字。

也就是说，那个漂亮的跳变到底有多少来自"改权重"，有多少来自那句引导，论文本身没交代清楚。

还有个更朴素的问题：论文自己承认，有些基准的样本量极少——MMLU-Pro只用了1个样本，GSM8K和IFEval各2个。评测集一共1152道题，救回了579道，代价是5道回归；救回的576道此前全都是被截断的。这说明改动的性质很清楚：它是修好了一个"回答写不完"的bug，不是教会了模型数学。

作者自己在论文里也承认了这一点，而且给出了这次研究最有价值的一句话。原话大意是："改权重能清掉一个挡住能力的障碍，但加不出模型本来没有的能力。"

他们拿Gemma 3 270M做对照组——这个模型本来就不太死循环。结果Astra怎么改，MATH-500都动不了一个百分点以上。后面那个识别"谄媚模型"的实验也一样，光看权重四次全错，允许它去看自己写的文本上的注意力模式，三次全对。

这些否定结果，比那个48.1%诚实得多，也比那个数字有用得多。

对普通人来说，这事到底有什么关系

先说最直接的。

你平时接触到的"AI成绩单"，不是论文，是广告。某AI插件号称"文书准确率99%"，某AI简历工具号称"面试通过率翻倍"，某AI客服方案号称"替代80%人力"，某AI学习APP号称"提效500%"。它们跟这个48.1%在结构上是同一种东西：一个在特定条件下测出来的数字，被放到最大声的地方。

区别只在于，MIT那个至少还贴了原始数据、代码仓库和第三方复现，那些广告连这个都不给你。

你真正该从这件事里带走的，不是"AI到底能不能改权重"，而是三个提问习惯。

第一个提问：谁出的题

MIT那个案例里，题目是MATH-500，测试集是从GSM8K和MATH的训练集里取的练习题，正式测试题对Astra保密。这已经是相对规范的做法了。但注意这里有一个循环：出题的和被测的，用的是同一个家族的老题库。

这在AI评测圈是有名的坑，而且有硬数据。一项覆盖17个前沿模型、18个公开基准的污染率研究发现，整体污染率57.3%，每个模型、每个基准都受影响。OpenAI在2026年2月23日直接宣布停止报告SWE-bench Verified成绩，理由是发现模型能靠训练时见过的痕迹复现题目和标准补丁；他们抽样检查剩余失败案例，59.4%的失败源于测试本身写错了。

所以看到任何AI成绩单，第一个问题永远是：**这套题，模型以前有没有可能见过？**如果是一套在网上流传了好几年、连题目带答案都被人整理成册的题库，那分数高不代表能力强，可能只是背过。

第二个提问：分子和分母分别是什么

"暴涨6倍"这个说法里，分子是48.1%，分母是7.9%。而7.9%这个数字，是在温度0.6、强开思考的设置下测出来的。

这一招在商业宣传里极其常见。你去查一查很多SaaS工具的效果数据，会发现分母往往是"改造前的旧版本"或者"手工流程"，而这个旧版本是用完全不同的方法测的。它不是造假，它只是把比较对象换成了一个更弱的版本。

上面那个独立复现最有价值的地方就在这儿：换成官方默认设置，净增是1.6%，不是6倍。从6倍掉到1.6倍，掉掉的不是模型的性能，是那个被特意压低的基线。

一个特别实用的判断标准：**看对比实验的"对照组"是怎么设的。**如果对照组用的是官方推荐配置、而实验组用了非推荐配置，这个对比就没有意义。你在广告里也套这一条——一个"用AI之后效率提升3倍"的产品，如果对照组是"纯手工"，那改成"用了另一款竞品"之后还剩多少倍，这个数据才有意义。

第三个提问：谁打的分，有没有第二个人复核

这个MIT案例里，三方独立复现者的工作量，比原论文的作者还大。他们做的事情很朴素：把论文里的表格和官方模型卡对起来看。

而论文自己的表格里就藏着答案的线索——25批次时两个提示词成绩一样（14.1%），50批次时却只有一个提示词有数字（48.1%）。这个不一致不写出来，得靠读者自己去挖。

这就是为什么"多方交叉验证"不是一句套话。**一份成绩单如果没有第二个人用同样的口径重跑一遍，它就只是一个主张。**这跟AI没关系，这是所有数据披露的基本规矩。

那我到底该怎么办

上面三个问题是"看别人报告"的时候用的。但更实用的问题是：我自己怎么判断一个AI工具适合我？

因为前面那三个问题都是防守的——防止你被别人的数字骗了。但你真正每天要面对的，还是选一个模型、选一个工具、决定要不要花钱订会员。

有一条特别朴素但特别管用的办法：建一个只有你自己知道的私人题库。

做法不复杂。挑出5到10件你上周真实干过的活——润色一封特定语气的工作邮件、总结一份三十页的合同、排查一段报错代码、给客户写一份解释方案、把一段中文翻译成客户那边习惯的说法。每道题留一份你上次认可过的答案，这就是你的基线。

然后把同一批题目丢给两三个候选模型，不要看模型名字，把答案贴在一起盲选，选更好的那个。

为什么这比任何榜单都靠谱？因为只有你自己的真实问题，模型不可能提前背过答案。这句话听着简单，但它切中了这整件事的核心：公开基准衡量的是"这个模型平均有多强"，你的任务不是平均。

有一点要提醒：公开榜单也不是没用，只是别当唯一依据。可以这么用——交叉看三五个不同来源的榜，找都排在前列的；别迷信小数点，前几名差两三分以内的按同一档看；真正要看的是断层，第一名和第十名差二十分，那才是有效信息。

还有一点，11月5日SuperCLUE 11月榜单出结果。Gemini-4-Argon总分73.62排第一，Kimi K3.1 Pro拿61.46分是开源模型里最高的、也是国内第一，DeepSeek V4.1 Flash和GLM-5.3跟在后面。但同一支Kimi，在按行业经济权重汇总金融、编码、法律、税务任务准确率的那个口径上，排到了全球第九。同一个模型、同一周、两个完全不同的名次。

这说明什么？说明"开源第一""国内第一"这类标签，在你真正干活的场景里可能完全不成立。

所以真正稳的判断是三条：看榜单只用来缩小候选范围（一共就那么几个选项，不必自己从头试）；用私人题库盲测做最终决定（这一步花不了十分钟）；决定之后固定下来，别每天追新（模型迭代这么快，追新的人往往一份工作都没沉淀下来）。