夜雨聆风
OpenAI 塌房!Scaling Law 原作曝致命 bug,万亿算力全白烧
前 OpenAI 研究员 Diogo Almeida 深夜甩出一篇博客，标题冷得发指 ——《Scaling Laws, Honestly》。
开头一句直接把话说死：最初那版 scaling law 是错的，因为存在一个 bug。
DeepMind 扩散模型之父 Sander Dieleman 转头就把它顶到了首页：原始缩放定律因为一个 bug 出错，大概率害得整个行业在一堆「体量过大、训练不足」的模型上，白白烧掉了海量算力。
而且那还是在我们开始认真考虑推理成本之前。
它从来就不是物理定律
先戳破一个行业神话：Scaling Law，从来就不是牛顿三定律那种铁打的物理规律。
它只是一条经验拟合出来的曲线。拿几十个小模型跑实验，把损失值画在双对数坐标上，发现差不多是条直线，于是得出一个幂律公式 —— 参数越大、数据越多、算力越足，损失就按固定比例往下掉。
听着很科学，本质上和「身高越高体重越重」没区别。你可以拿它做估算，但绝不能把它当万有引力来用。
可过去五年，整个 AI 行业真的把它当第一性原理在信。
OpenAI 骗了全球 AI 同行两年？
时间拉回 2020 年，OpenAI 发布 Kaplan scaling law 论文，结论简单粗暴：算力翻倍时，模型规模要比数据规模涨得更快。
全行业照做。GPT-3 1750 亿参数横空出世，各家疯狂堆参数，千亿模型成了入场券。
两年后 DeepMind 甩出 Chinchilla 论文，啪啪打脸：最优配比根本不是这样，模型和数据应该 1:1 等比增长。同样算力下，700 亿参数喂够数据，效果吊打 1750 亿参数但训练不足的模型。
也就是说，GPT-3 其实严重「虚胖」。
当时所有人都以为是 OpenAI 算错了、DeepMind 纠正了。现在 Diogo Almeida 告诉你：Kaplan 那版结论之所以错，根本不是判断失误，是代码里有个 bug。
一个簿记级别的参数统计口径差异，加上实验规模不够大，就让两个顶级团队给出了完全相反的资源分配建议。
全行业照着错误结论调了两年的训练配方。
算力错配有多离谱？
更讽刺的是，连「纠正者」自己也不干净。
2024 年有人把 Chinchilla 论文的数据点扒出来逐行复现，发现它那套优雅的参数拟合里也藏着 bug：损失函数取了均值而不是求和，几百个样本一平均，优化器直接提前收敛了，输出的参数根本不是最优解。
纠正 bug 的论文，自己带着另一个 bug。
这意味着什么？意味着过去几年烧掉的万亿算力里，有相当一部分是错配的。模型做太大、数据喂不够，参数在空转，GPU 在烧电，美元在蒸发。
大家拿着一条有 bug 的经验曲线，指挥了上千亿美金的流向。
最后说句实在的
Scaling Law 没死，堆算力依然有用。但它该走下神坛了。
它不是通往 AGI 的高速公路路标，只是一个在特定范围内大致有效的工程经验。外推越远，偏差越大；信仰越深，摔得越重。
一个 bug 烧掉两年，万亿算力买了个教训：AI 这行，从来就没有什么第一性原理，只有不断修正的工程常识。