夜雨聆风一条只有五十几个单词的推特，把整个LLM圈炸得集体破防。
发帖人是Google DeepMind研究员Sander Dieleman。他讲的，跟某个新模型翻车、哪家公司数据造假都无关，他戳破的，是AI这几年狂奔的起点，那条被无数人顶礼膜拜的Scaling Laws（缩放定律），从一开始就建立在一个Bug上。
而且这个Bug，可能让全行业烧掉了海量算力，去训练一批「虚胖」却「营养不良」的模型。
一条推特，掀了行业地基
2026年7月4日，Dieleman在X上转发了一篇长文，只留下这么几行字：
"Here's a cool piece of LLM lore: the original scaling laws were wrong due to a bug, which probably led to a lot of wasted compute on oversized undertrained models 🫣"
「这里有一段关于LLM的趣闻：最初的scaling laws因为一个bug而错误，这很可能导致大量算力被浪费在体型过大、却训练不足的模型上🫣。」
文字不长，配了个捂脸的表情。但看懂的人都倒吸一口凉气。
▲ Sander Dieleman（Google DeepMind）的爆料帖，947赞、15.9万浏览，评论区迅速炸开。
要知道，Scaling Laws早已超出了一个普通技术细节的分量。它是过去六年整个大模型行业的信仰基石。「模型越大，效果越可预测地变好」，这句话几乎成了硅谷各大实验室拍板砸钱、决定烧多少张GPU的依据。而现在，有人说这条定律最初的版本，从计算公式的那一刻起就错了。
案发现场：一条被奉为圣经的曲线
时间拨回2020年1月。OpenAI一支团队发表了一篇论文，标题读起来平平无奇，《Scaling Laws for Neural Language Models》。作者名单里有Jared Kaplan、Sam McCandlish，还有后来创立Anthropic的Dario Amodei。
▲ Kaplan等人2020年发表的原始Scaling Laws论文，摘要里写着：损失函数随模型规模、数据量、算力呈现幂律下降，横跨七个数量级。
这篇论文得出一个结论：给定同样的算力预算，比起堆数据，堆参数更划算。模型规模应该比训练数据涨得快得多，用他们的公式说，是N_opt正比于C的0.73次方。翻译成人话就是：算力翻十倍，模型该长大5.5倍，数据只需要多喂1.8倍，训练还可以提前收工，不用等到收敛。
这个结论漂亮、直观,还配了一张跨越七个数量级的log-log直线图，说服力拉满。整个行业信了。GPT-3，175B参数，正是在这套「精神」指导下训练出来的。「scaling-pilled」（笃信缩放定律的）也从这时候成了圈内人的自我认同。
没人想到，这条被视为圣经的曲线,底层的实验设计里，早就埋好了一颗雷。
破案人：一个「本该早点发现」的内部人
站出来拆穿这件事的人叫Diogo Almeida。身份摆在那，RLHF的共同创造者之一，前OpenAI员工，亲历过那个「scaling-pilled」的年代，说话自然有分量。他在自己的Substack博客里承认，自己当年也在OpenAI做大模型优化,同样错过了这个bug。
▲ Diogo Almeida在X上摘录《Scaling Laws, Honestly》要点：「最初的scaling laws因为一个bug而错误。」
促使他动笔的，是Google DeepMind研究员Lilian Weng今年6月发的一篇长文，专门梳理了「调和Kaplan与Chinchilla」的主流学界解释，大意是两边算法对「参数」的统计口径不一样，才导致结论打架。
Diogo读完摇了摇头。他说这套主流解释「不够准确，尽管这怪不到原作者头上」。真正的差异,他写道:
"The reality of the difference between the original scaling laws and Chinchilla's is that the former had a bug!"
「原始scaling laws与Chinchilla的真正差异在于：前者有一个bug！」
一句感叹号收尾。案子,就这么被重新翻了出来。
三步作案手法：胃口、断粮、仍说无妨
Diogo把这个bug拆成三步，环环相扣，像一套精心设计却没人察觉的「作案手法」。
第一步：所有模型，喂的饭都一样多。
Kaplan团队做实验时，无论模型是几百万参数还是几十亿参数，全部只喂大约1300亿个token就停。小模型用这个量级的数据已经吃得很饱，大模型却严重「饿肚子」。放到log-log坐标图上，这人为地把大模型的潜力提前掐断了，曲线画出来一副「喂再多数据也没用」的架势，根子却只是没喂够。
第二步：饭快吃完，先把勺子收走。
学习率（learning rate）采用余弦衰减，并且精确衰减到零，衰减终点刚好卡在那1300亿token的节点上。训练接近尾声时，模型几乎学不动了。性能自然而然趋于平台期，像是碰到了「饱和」的天花板。可如果学习率没有被人为砍到零，大模型完全有能力从后面的数据里继续吸收养分。「勺子被收走」制造了「吃不下」的假象，模型压根还没吃饱。
第三步：仍然声称，勺子收不收无所谓。
论文里留下一句断言：结果「largely independent of learning rate schedule」，「基本上与学习率调度方式无关」。这句话在固定token预算内确实成立,但scaling laws本该回答的问题是「数据无限的情况下会怎样」。这句轻描淡写的断言,后来让无数想要debug的研究者望而却步，他们以为学习率根本不重要,压根没往这个方向去查。
三步叠加,结果是什么?整个行业按照Kaplan的配方,造出了一批体型虚胖、却营养不良的模型。用Diogo自己的「非研究者版总结」来说：
"Thus, for a few years, people trained models that were much too large on too little data."
「于是,有那么几年,人们训练出来的模型,都是参数太多、数据太少。」
实锤翻案：70B打赢280B
真正把这套错误配方证伪的，是DeepMind两年后甩出的Chinchilla论文。
▲ Chinchilla论文摘要点名:当前大语言模型「显著训练不足」（significantly undertrained），源于只顾扩大模型规模、却让训练数据量保持不变。
DeepMind这次学乖了。他们扫了400多个模型，参数从7000万到超过160亿，token量从50亿到5000亿，这一次，数据量真的跟着模型规模一起变了。三种独立方法得出同一个结论：模型规模和数据量应该同比例放大，谁也不该单独冲得比另一个快。
他们还做了个近乎「打脸现场」的实验：用跟Gopher（280B参数、3000亿token）一样的算力预算,训练了一个只有70B参数、却喂了1.4万亿token的模型,取名Chinchilla。结果呢?这个体型只有对手四分之一的「瘦子」模型,在上百项下游任务上全面碾压280B的「胖子」,在MMLU基准上准确率67.5%,比Gopher高出7个百分点还多。
同样的算力，更小的模型，吊打更大的模型。这就是当年最有力的翻案证据，只是很少有人把话挑明：错误的根源，压根不止「参数怎么数」这么简单，实验设计本身，从一开始就带着假设错误上路了。
沉默的大厂:「我们那时候就在聊这个bug了」
这条推特底下最耐人寻味的一条回复，来自Michele Catasta，他曾在Google工作过：
"I was still at Google when we started to talk about that bug, but I didn't know it was publicly acknowledged until now. Thanks for sharing 🙂 Good ol' times…"
「我还在Google的时候，我们就开始讨论那个bug了，但我直到现在才知道它被公开承认了。感谢分享🙂 美好的旧时光……」
▲ 前Google员工Michele Catasta的回复,证实大厂内部多年前就已经知晓这个问题。
这条回复,印证了Diogo在博客结尾留下的判断，「早在很久以前，每家大型AI实验室其实都已经知道这件事。」这算不上什么新发现，只是头一回被摆到台面上，公开摊开讲。大厂内部悄悄修正了配方,论文却始终没有一份正式的勘误声明。行业地图上的这处裂缝，被捂了整整六年。
这条消息很快被科技聚合站Digg收录,标题一点没给行业留面子:
▲ Digg报道标题：「A historical bug in LLM scaling laws led the AI industry to train oversized, undertrained models」（一个历史性bug，让AI行业训练出体型过大、训练不足的模型）。
Digg的分析栏目里还补了一个让人尴尬的事实：具体浪费了多少算力，至今没人给出过统计。2020到2022年间,那些造出来又被淘汰的「虚胖」模型,烧掉的GPU小时,成了一笔没人愿意认领的账。
一个意外的彩蛋:英语可能是「最费数据」的语言
除了揭bug,这场讨论还带出一个有意思的旁支。博客评论区里,有人分享了一组对比实验:同样架构的模型,在法语数据上练到语法能力探测达到100%,只需要大约1.97亿个token；换成英语,喂了超过30亿token,探测结果还是接近瞎猜。差距高达十几到上百倍。
原因据推测是,英语形态相对贫乏,模型得靠大量统计规律去「猜」语法关系;而形态更丰富的语言,像法语,本身的词形变化里就自带了更多显式信息,模型不用猜太多。
这意味着什么?Chinchilla算出来的「每个参数配20个token」这条经验法则,很可能只是英语场景下的最优解,换一种语言,数据效率的账可能完全不一样。也有人在讨论区追问:信息密度更高的语言,会不会天然更利于逻辑和数学能力的训练?这个问题目前还没有定论,但已经足够让人重新审视「20 tokens per param」这条被奉为标准的经验数字。
尾声:漂亮的曲线,不等于正确的答案
回头看这整件事,最讽刺的地方或许在于:Kaplan那张跨越七个数量级的log-log直线图,当年看起来无可挑剔。数据点排列得整整齐齐,拟合优度高得吓人。可这种视觉上的说服力,恰恰掩盖了实验设计里那个悄悄埋下的假设，固定的数据量、归零的学习率,让这条曲线在小范围内自洽,却在被当成「无限数据外推法则」使用的那一刻,彻底跑偏。
Diogo在博客最后留下一个呼吁：希望有人能给Kaplan那篇原始论文补一条勘误说明。至于还没挤进头部实验室的研究者,他给的建议毫不拐弯:不要在这个问题上浪费时间,Chinchilla的结论才是对的。
Scaling Laws本身没有被推翻。继续把模型做大这件事,依然成立。真正被修正的,是「怎么把模型做大」这份配方。而这次迟来六年的公开复盘提醒所有人:哪怕是被写进教科书、被上百家实验室奉为圭臬的经验法则,背后也可能只是某一次实验设计里,一个没人多问一句「如果多喂点数据会怎样」的漏洞。
