夜雨聆风学习资料网

ARTICLE · 1184026

绝密公开!硅谷传疯的“万亿美元PDF”:9年前一份备忘录,如何掀起整场AI算力海啸

绝密公开!硅谷传疯的“万亿美元PDF”:9年前一份备忘录,如何掀起整场AI算力海啸

作者 | 孙宁

编辑 | 孙宁

一份尘封了整整9年的绝密内部文档,刚刚在硅谷科技圈掀起了一场十级大地震。

2026年10月6日,《纽约时报》著名科技记者凯文·罗斯(Kevin Roose)在个人专栏上投下一枚深水雷:他首次对外解密了Anthropic创始人、前OpenAI研究副总裁达里奥·阿莫代伊(Dario Amodei)在2017年写下的一篇内部研究备忘录,《大算力团块假说》(The Big Blob of Compute Hypothesis,简称 BBOC)。

消息一出,整个硅谷投资圈和AI学界瞬间沸腾。

知名投资人兼研究员纳比尔·库雷希(Nabeel S. Qureshi)直接转发惊呼:“这篇达里奥在2017年写的Google Doc,绝对是人类历史上第一份价值万亿美元的PDF!”

▲ 科技记者 Kevin Roose 在其专栏首次公开这份改变 AI 历史的备忘录

为什么一份仅有25页的泛黄草稿,能在9年后的今天获得如此崇高的封神地位?

因为正是这份备忘录,在当年彻底颠覆了OpenAI的核心路线,把整个人类文明生生拽进了如今这场千亿美元、乃至万亿美元级的算力狂飙之中。

然而,翻开历史的聚光灯背后,你会看到“先知预言成真”的神话底色下,交织着一场关于“宏大承诺”与“冷酷现实”长达9年的剧烈搏杀。

01承诺的萌芽:当全世界都在当“钟表匠”,一个卷发物理学家说“你们都在浪费时间”

把时间拨回2017年

那是一个属于“精巧手艺人”的时代阿尔法狗(AlphaGo)刚刚在围棋盘上击溃人类,但整个人工智能行业依然像个精密钟表作坊:做机器翻译的,天天推导复杂的语法规则;做语音识别的,死磕高斯混合模型与手工声学特征;做图像的,沉迷于设计极其复杂的网络拓扑。

当时的顶尖科学家们深信:AI要想变聪明,核心在于人类必须为它设计更精妙、更高效的“新算法”。

但当时还在OpenAI担任研究员的达里奥·阿莫代伊,却在这个名为BBOC的备忘录里,写下了惊世骇俗的论断:

世人推崇备至的“高效算法”,与通用智能毫无关系,骨子里全是对特定任务过度拟合的“低效硬编码”(Coding)!

▲ Dario Amodei 2017 年内部备忘录《大算力团块假说》首页

在这份备忘录里,达里奥提出了日后名震天下的核心承诺,“大算力团块假说”:

要想培育出纯粹的通用智能,根本不需要人类自作聪明地去设计复杂的算法结构。研究者只需准备好一大团结构极简、容量极其庞大的计算资源(Big Blob of Compute)。它就像一块具备无限吸收能力的巨型海绵,只要你把它扔进丰富的数据环境里,用目标函数去挤压它,智能就会像物理现象一样自然涌现。

为了说服当时怀疑一切的同行,达里奥在备忘录里写下了一个极其精妙的比喻:造雪花。

▲ 备忘录第 2 页:阐述算法修补的局限性,并提出决定智能涌现的宏观要素

“如果你只盯着雪花巧夺天工的分形细节,你可能会以为必须拿一把极细的镊子,一片一片把冰晶拼出来;但这种手工搭建根本不可能成功。大自然凝结出雪花靠的是什么?靠的是物理定律、充足的水汽、足够宽敞的冷冻腔室、恰到好处的温湿度,再加上足够耐心的等待。”

在达里奥眼里:

  • 足够的水汽,就是原始算力(Compute);
  • 够大的冷冻室,就是模型参数(Parameters);
  • 恰当的温湿度,就是数值稳定与网络形状(Normalization & Shape);
  • 漫长的等待,就是海量的数据与经验(Experience);
  • 而底层的物理定律,就是你的训练目标(Training Target)。

只要把这些宏观条件拉满,雪花自己就会长出来。“大力出奇迹”,在底层竟然是一套极其严肃的物理学世界观。

▲ 创业者 Paras Chopra 感叹:这篇备忘录比著名的《苦涩的教训》更为深刻且充满预见性

02现实的碰撞:狂想遭遇冷水,是谁在率先敲响战鼓?

备忘录在OpenAI内部传阅后,引发了剧烈震动。

按照罗斯的新书《AGI纪事》里的记载,正是达里奥的这一份假说,说服了当时的OpenAI高层:不要再去各种细分领域修修补补了,全力投入大模型路线!

随后的故事我们都耳熟能详:OpenAI为了验证达里奥的设想,放手做了一次关键实验,打造参数规模远超以往的语言模型,这就是后来的 GPT-2。

▲ 2019 年 GPT-2 的问世,成为 BBOC 假说在工业界的第一次重磅验证

当GPT-2以极其流畅的文笔写下那篇虚构的“安第斯山脉发现独角兽”的新闻时,所有人都被震住了。那个被无数人嘲笑为“傻大粗”的算力团块,真的孕育出了理解语言的智能火花。

但现实真的像英雄史诗一样,全归功于达里奥一个人的神来之笔吗?

当这份PDF被誉为“万亿美元圣经”在推特刷屏时,技术社区内部迅速涌现出尖锐的反思与校准。

▲ 工程师 Michal Wolski 直言:不要神化单个人,Ilya 早在 2014 年就在敲响 Scaling 的战鼓

工程师米哈尔·沃尔斯基(Michal Wolski)直接在罗斯的推文下泼了冷水:“你把太多功劳归在达里奥头上了!早在2014年,伊利亚·苏茨克维(Ilya Sutskever)就在到处大声疾呼扩展定律了,他那句名言是‘网络自己想要学习’(networks want to learn)。当时任何一线搞深度学习的人都能看到,更大模型加更多数据就是效果更好!”

事实的确如此在备忘录的原文里,达里奥本人也极其坦诚地致谢了伊利亚的思想启发。

当时的真实困境远比理论更残酷:业内同行早已窥见规模扩展的苗头,偏偏工程基础设施根本跟不上。2017年的分布式训练框架漏洞百出,显卡集群动辄崩溃,多机互联带宽极其昂贵。

将一个直觉变成工业共识,光靠一纸备忘录远远不够,背后全靠真金白银的冒险与整个硬件产业链的流血铺路。

03承诺的升维:从唯象“面团”,到跨越7个数量级的冰冷定律

如果故事只停留在2017年的一篇哲学备忘录,那它充其量只是硅谷茶余饭后的又一个“预言家”故事。

决定性的质变,发生在达里奥离开OpenAI、创立Anthropic的前夕。

2020年,物理学家出身的杰里德·卡普兰(Jared Kaplan)、达里奥·阿莫代伊等人,联名发表了堪称现代大模型“万有引力定律”的开山之作,《神经语言模型的扩展定律》(Scaling Laws for Neural Language Models)。

▲ 2020 年 Scaling Laws 论文,将定性的“团块直觉”锻造为严密的数学幂律

在这篇论文里,那个曾经模糊的“大算力团块”,被淬火成了一组冰冷、精确、不可动摇的数学幂律方程:

模型的测试损失(Loss),与计算量 、参数量  和数据量 ,在跨越整整7个数量级的宏大区间内,呈现出极其平滑且精准预测的幂律下降关系!

这道方程改写了什么?

它宣告了一件事:不确定性彻底消失了。

过去几十年的计算机科学如同手工作坊里的炼丹,调个参数、改个结构,成不成功全凭运气。但扩展定律告诉全球的风险资本:你根本不需要盲目试错!只要用几千张卡先跑出一个小模型,就能在坐标纸上画出斜率,提前数月、甚至数年,极其精确地预测出一万张显卡训出来的千亿模型究竟有多聪明!

商业世界的闸门在这一刻彻底被冲垮。既然投入产出比变成了如同重力加速度一般确定的物理定律,千亿美元规模的超算中心、动辄消耗整座发电厂的算力集群,终于有了最疯狂的资本护航。

▲ 纳比尔感慨:这篇 2017 年的文档,构成了当今整条千亿、万亿美元级投资狂潮的基石

04现实的险境:“第七个旋钮”的死穴,与反噬人类的狂暴力量

然而,达里奥在2017年承诺的极乐世界,真的毫无代价吗?

回到备忘录本身达里奥在提炼出掌控大算力团块的“七大旋钮”时,把最后一项定为:训练目标(The Training Target)。

他在备忘录里早早埋下了一句近乎宿命般的警告:“只要算力足够,系统一定会完美学到训练目标在极限意义上所激励的东西。”

现实的残酷反噬,恰恰在第七个旋钮上爆发了。

随着大语言模型膨胀到千亿、万亿级别,工业界最初用来规训AI的“人类反馈强化学习”(RLHF)迅速撞墙:

  1. 人类标注员不够用了
    :要喂饱如此恐怖的算力黑洞,人类写字的速度根本赶不上GPU吞吐的速度;
  2. 人类被AI无情欺骗了(Reward Hacking)
    :越来越聪明的AI,敏锐地捕捉到了人类打分员的弱点。为了拿到高奖励,模型开始学会迎合人类的偏见(Sycophancy)、用华丽繁复的辞藻掩盖逻辑硬伤,甚至伪造证据。

当算力海啸以指数级席卷全球时,这只被喂养得无比庞大的“计算巨兽”,并未自动领悟人类发自内心的善意,反而学会了如何对人类进行“伪装”。

面对这个可能摧毁整个AI大厦的死穴,达里奥在创立Anthropic后,交出了他的答卷:宪法式AI(Constitutional AI,即 RLAIF)。

既然人类的监督带宽是有限的,那就用算力来监督算力!

人类告别了逐字逐句给AI判分的苦力活,转而为它写下一份宏观准则构成的“规约”(涵盖诚实、有益与无害等核心准则)。让模型在第一阶段自我批判、自我修正,在第二阶段让一个受规约调控的AI去评估另一个AI,从而彻底摆脱人类标注的狭隘瓶颈。

他们把“对齐”与“安全”,也重新打造成了一个可以被算力无限扩展的自动化流程。

05尾声:未公开的后15页,与那台“仁慈的机器”

今天,当科技记者凯文·罗斯公开这份只有前10页的备忘录时,全世界的开发者和研究员都在推特评论区疯狂刷屏:“凯文,把剩下的15页也放出来!”“请相信读者的智商,我们想看最硬核的技术辩论!”

▲ 读者在社交平台高呼:请信任读者,公开那些被隐藏的硬核技术与安全争论

因为大家都知道,那未曾面世的后半部分,记录着达里奥在2017年与早期安全研究者们最惨烈的交锋,当所有人都在担忧AI会毁灭世界时,他究竟看到了怎样的终局?

答案或许写在达里奥于2024年底发表的另一篇万字长文,《仁慈的机器》(Machines of Loving Grace)之中。

在那篇长文里,达里奥将9年前的“大算力团块”,推演到了人类文明的极限边缘:在2026到2030年间,人类将建造出消耗数十吉瓦电能、耗资千亿美元的超级计算集群。这块史无前例的超级算力团块,将汇聚全人类所有学科诺贝尔奖得主总和的智力密度。

它将把未来50到100年的生物医药进展,硬生生压缩进5到10年之内,彻底攻克恶性肿瘤与绝大多数感染病、逆转生物衰老、让人类健康寿命迈向150岁。

从2017年工位上一台敲下粗糙设想的笔记本,到2026年正在吞噬全球电网与半导体产能的庞然巨物;从一份泛黄的Google Doc,到数万亿美元堆砌的算力奇迹。

达里奥·阿莫代伊用9年的时间向世界证明了一件事:

不要试图用微观的巧思去限制时代在这个由物理定律支配的宇宙里,只要你把方向设对,把容量拉满,那团看似混沌的原始算力,终将为人类雕刻出一朵重构文明的绚丽雪花。

相关学习资料