夜雨聆风学习资料网

ARTICLE · 1152619

OpenAI绝密“创世底稿”首度曝光!写于GPT诞生前,万亿AI狂潮竟源于一片雪花

OpenAI绝密“创世底稿”首度曝光!写于GPT诞生前,万亿AI狂潮竟源于一片雪花

科技圈迎来了一场罕见的行业震动

就在今天,《纽约时报》著名科技记者 Kevin Roose 在新书《AGI 纪事》(The AGI Chronicles)正式发售前夜,突然撕开了硅谷最神秘的历史封印。

他公开发布了一份被雪藏近十年、在 OpenAI 早期核心圈内被奉为“圣经”的绝密备忘录,《The Big Blob of Compute Hypothesis》(大算力团假说,业内简称 BBOC)。

▲ Kevin Roose 宣布首次解密这份开启 AI 竞赛的内部文件

这份长达 25 页以上的文件,写于 2017 年。

作者,正是当时担任 OpenAI 研究总监、后来出走创办 Anthropic(Claude 之父)的 Dario Amodei。

投资人 Kevin Kwok 感慨:“硅谷人人都喜欢吹嘘自己的传奇备忘录,但从来没人真的把原件放出来。”

今天,这扇历史沉重的大门,终于被推开了一条缝隙。

012017年的幽暗隧道:一群“老钟表匠”与一个物理疯子

要看懂这份文件的震撼,你必须先把时钟拨回 2017 年。

那是一个怎样的世界?

AlphaGo 刚刚击败柯洁,全球震惊。但彼时的学术界和工业界,依然普遍弥漫着一种极其顽固的“工具匠思维”。

做机器翻译的,专门写一套复杂的语法对齐算法;做语音识别的,绞尽脑汁提取声学特征;搞机器人的、打游戏的,每个细分领域都由顶级博士们手工打造专用的精巧模型。

所有人都把自己当成瑞士钟表匠他们坚信:智能,是由人类工程师用镊子、齿轮和代码,一砖一瓦严丝合缝雕刻出来的。

那时,第一代 GPT 尚未成型

就在这时,一个顶着蓬松卷发、戴着圆框眼镜的书呆子站了出来。

▲ Dario Amodei 于 2017 年写下的 BBOC 备忘录首屏

他叫 Dario Amodei他本科在斯坦福读物理,博士在普林斯顿研究生物物理。在他眼中,世界运行的核心法则,正是能量、相变与统计动力学。

在百度和谷歌大脑的实验中,他隐约察觉到一个极其诡异的物理现象:别搞那些花里胡哨的算法微操,只要单纯喂进去更多的数据、堆上更猛的算力、让机器训得更久,模型的表现就会像魔法一样自己变好!

于是,他在 OpenAI 内部写下了这份 BBOC 备忘录。开篇的第一句话,就直接掀翻了整个学界的饭碗:

“放弃你们那套精巧的设计吧。所谓的算法革新,大多只是在同一团底层计算上玩重新贴标签的壳牌游戏!”

02震撼的“雪花模型”:大自然从来不用镊子

在这份文件的第 4 页,Dario 提出了一个足以载入计算机思想史的绝妙隐喻,雪花模型(Snowflake Model)。

如果你在显微镜下凝视一片雪花,你会看到令人窒息的分形六角结构,对称、精妙、繁复。

人类传统的机械思维会本能地认为:造物主一定有一双极其灵巧的微观小镊子,小心翼翼地把每一颗冰晶碎片拼接在一起。

但物理学告诉你,用镊子拼雪花,是彻头彻尾的愚蠢。

▲ 强化学习先驱 Sutton 后来在《苦涩的教训》中阐述了类似思想,但 Dario 提早了数年

大自然造雪花,从来不管具体哪颗水分子落在哪里。它只做四件事:

  1. 懂物理规律
    (定义结晶相变的目标);
  2. 备足水汽原料
    (充足的算力与数据);
  3. 造足够大的冷凝室
    (巨大的参数容量);
  4. 调好温度、气压与湿度
    (稳定的数值计算环境)。

做完这些,然后干什么?等

时间到了,水分子在自由度的主导下,自发结晶涌现出精美绝伦的雪花。

Dario 写道:智能的诞生,和雪花结晶一模一样。

不要再去手动编写语言规则了,也不要去给机器手工设计认知零件了。造一个巨大的、尽量少结构化的“大算力介质”,把底层物理边界调对,然后后退一步,让智能自己长出来!

03操纵宇宙的“七个旋钮”:大模型时代的硬核物理圣经

如果不用手工雕花,工程师到底该干什么?

Dario 在备忘录里给出了让后世所有大模型研究员顶礼膜拜的“七个旋钮”(The Seven Knobs)。

▲ 备忘录第 3 页,详细阐述了经验、归一化与流体特性的技术本质

这七个旋钮,在 2017 年便勾勒出了前沿方向,如今已成为指导万卡集群训练的实操罗盘:

1. 算力(Compute):自由流淌的高维介质

不要用生硬的逻辑死锁计算算力必须是一团高可塑性的介质,能在输入与动作之间自由涌流。

2. 参数量(Parameters):容纳信息的“冷凝室”

参数量就是腔体容积太小的冷凝室,根本装不下物理世界的高维信息熵。参数不够大,雪花还没结晶,水汽就溢出了。

3. 经验数量(Quantity of Experience):不可思议的“思考互换”

Dario 极具前瞻性地用了“经验”而非“数据”。静态数据只是经验的特例备忘录中写下一句极具穿透力的断言:经验与算力可以互相折算! 如果模型在内部进行自我推演(就像后来备受关注的 CoT 思维链和大模型“慢思考”),它就能通过调用大量算力,成倍放大经验的有效数量。

4. 经验分布(Distribution of Experience):多口音泛化的顿悟

为什么大模型能举一反三?Dario 举了一个他在百度做语音识别时的经典案例:如果你只喂给模型一种纯正的口音,网络就会偷懒,死记硬背每个发音细节;但只要你丢给它 5 到 6 种完全不同的地域口音,为了降低记忆负担,网络被迫在内部提炼出超越具体口音的底层通用物理特征。那一刻,它突然获得了听懂全球所有陌生口音的零样本泛化能力!

5. 归一化与条件数(Normalization and Conditioning):高维流体的“调压阀”

这一条洞见极为深刻:Dario 直言,以往备受推崇的 ResNet(残差网络)、BatchNorm、Adam 优化器等重大突破,本质是为计算流疏通管路。高维数值在深层网络里流动时,极容易“水压爆炸”(梯度爆炸)或“彻底断流”(梯度消失)。这些算法的核心价值,就在于疏通管道、稳住数值流,让数以百亿计的浮点计算顺畅流动。

6. 对称性与形状(Symmetries and Shape):打破人为枷锁

物理世界有平移对称性,所以有了卷积(CNN)。但越往通用走,越不能让人为的硬编码变成裹脚布。必须保持拓扑通道畅通,绝不能用狭窄的瓶颈层(Bottleneck)去暴力扼杀信息。这一思想,完美照亮了后来 Transformer 彻底消灭循环与局部限制的进化之路。

7. 训练目标(Training Target):终极审判

模型最终唯一会学会的,是训练过程在无穷渐近意义上所激励的行为。 你给了它什么样的奖励信号,它就会变成什么样的怪物。这成了后来 RLHF(人类反馈强化学习)与对齐理论的最早奠基句。

Dario 在第 10 页写下了一锤定音的结论:

“只要你把前 6 个旋钮扭到正确的位置,并且第 7 个目标在计算上是可学的,智能就必然降临。除此之外的一切琐碎技巧,在历史长河里都无足轻重!”

04历史狂澜:从 GPT-2 到万亿美元算力海啸

纸面上的假设很快迎来了现实的检验。

OpenAI 拿到这份内部文件后,做出了一个影响深远的决定:付诸验证。

他们把所有资源押上,抛弃所有细分任务架构,只保留一个最简单的目标,预测下一个词。

2019 年,GPT-2 诞生作者名单里,Dario Amodei 赫然在列。这台机器没有经过任何专门翻译或问答训练,却在庞大的文字吞吐后,自己“结晶”出了翻译、摘要和答题能力。

紧接着,2020 年,OpenAI 正式发布划时代的《神经语言模型扩展定律》(Scaling Laws),把 BBOC 备忘录里的直觉,精确量化成了冰冷、残酷而优美的幂律数学公式。

后来的故事,全世界都看到了

GPT-3、GPT-4、万卡集群、核电站、英伟达万亿市值……人类历史上最浩大、最激烈的算力军备竞赛,轰然拉开大幕。

这一切狂澜的起点,全被死死锚定在 2017 年那篇仅有 10 页可见的打字稿里。

05宿命的反讽:点燃引线的人,选择背叛帝国

历史最戏剧性的一幕,往往藏在命运的背影里。

写下这篇“大力出奇迹”创世底稿的 Dario Amodei,后来为什么会决绝地离开 OpenAI?

▲ 网友感慨:写下定下时代方向文件的人,后来成了最大的对手

随着新书《AGI 纪事》与早前《大西洋月刊》的深度披露,真相令人唏嘘。

很多人以为,Dario 离开 OpenAI 创办 Anthropic,是因为他反感 Scaling(扩展),想要退回安全象牙塔。

大错特错

仔细重读这份 2017 年的备忘录,会发现其底层逻辑有着惊人的一致性:在 Dario 眼中,Scaling(能力)和 Alignment(安全),自始至终就是同一枚硬币的两面!

既然你不可能用镊子手工拼出雪花,你也绝不可能靠几行死板的规则、外部防火墙或人工补丁,去锁死一个高维超级智能的行为!

传统网络安全那一套“见招拆招、打补丁堵漏洞”的微操逻辑,在大算力团面前根本不堪一击。

要让未来的 AGI 不毁灭世界,唯一的出路,依然是那第 7 个旋钮,在最底层的训练动力学中,植入不可动摇的高阶激励条件(也就是后来 Anthropic 赖以成名的“宪法 AI”Constitutional AI)。

当他发现 OpenAI 在商业利益与失控扩展的狂飙突进中,逐渐失去了对那第 7 个旋钮的敬畏时,他选择了带队出走。

他造出了这把火,他比任何人都清楚这把火失控时的烈焰有多恐怖。

06终局之问:如果回到2017,你会相信吗?

如今,这份泛黄般的 PDF 终于静静躺在全世界开发者的屏幕上。

它被誉为“AI 时代的独立宣言”,也像一份从未来穿越回来的技术预言书。

九年前,整个硅谷都在嘲笑“大力出奇迹”是毫无技术含量的粗暴赌博;九年后,人类用数万亿美元的真金白银,向这篇 10 页的备忘录俯首称臣。

漫长的科技发展历程中,推动范式转移的关键人物,往往跳脱出手工打磨单个齿轮的执念,转而指向浩瀚天空提示众人:“风暴要来了,准备好容器接水。”

合上这份沉重的 PDF,不妨问自己一个问题:

如果把时间倒退回 2017 年那个混沌的初春,这篇没有公式、满纸荒唐言的内部备忘录摆在你面前,

你会把它当成神迹,还是一个疯子的呓语?

相关学习资料