夜雨聆风AI往事：一个关于AI的系列
系列首篇请前往：AI往事 · 第一篇：冬天里的人
点火者
AI往事·第二篇
—— ◆ ——
一、大公司来敲门
2012年10月，AlexNet的消息传开之后，科技巨头的反应比学术界快得多。
谷歌是第一个。2013年3月，谷歌以4400万美元收购了辛顿创办的DNNresearch——一家只有三个人、没有产品、没有收入的公司。辛顿和他的两个学生亚历克斯·克里泽夫斯基、伊利亚·苏茨克维，一夜之间从学术孤儿变成了谷歌的人。
收购的方式也值得说道：辛顿没有选择谈判，而是搞了一场秘密拍卖。谷歌、微软、百度和DeepMind都参加了竞标。辛顿当时在严重的背伤康复中——他的腰椎问题严重到无法坐下，所以整场拍卖他都是站着或者趴着完成的。最终谷歌出价最高。
（图1：DNNresearch成员，由左至右分别为Ilya Sutskever、Alex Krizhevsky 及Geoffrey Hinton。）
这只是开始。接下来两年，一场人才军备竞赛在硅谷展开：
2013年12月，扎克伯格亲自飞到纽约，说服杨立昆加入Facebook，出任新成立的FAIR（Facebook AI Research）创始总监。条件不只是钱——LeCun获得了对FAIR研究方向的完全控制权，这在工业界实验室里是极为罕见的自由度。
2014年5月，百度宣布聘请吴恩达担任首席科学家，同时宣布5年投入3亿美元建设硅谷AI实验室。吴恩达是斯坦福教授，也是Coursera的联合创始人，他2011年就在谷歌创立了Google Brain项目——用16000个CPU核心训练了一个识别猫的神经网络。那篇论文让整个科技界意识到深度学习不只是一个学术方向。这一年，Anthropic联合创始人Dario Amodei也被百度招聘，加入百度硅谷AI实验室进行语音识别研究。
同样在2014年1月，谷歌又出手了——以约5亿美元收购了一家伦敦的初创公司DeepMind。这家公司只有几十人，没有产品，没有收入，甚至没有一个清晰的商业模式。谷歌买的是人——DeepMind的创始人戴密斯·哈萨比斯以及刚刚完成11亿美元种子轮融资的AI初创公司Ineffable Intelligence创始人David Silver，他是DeepMind前首席研究员。
从2013年到2015年，不到三年，深度学习领域顶尖人才都被科技巨头签走，与2024年至今情势何其相似。这跟上一轮泡沫完全不同——1980年代的钱砸在“规则”上，这一轮的钱砸在“人”上。符号主义时代，核心资产是知识库；连接主义时代，核心资产是大脑。
—— ◆ ——
二、GPU的意外
AlexNet用了一个关键技术：GPU。上一篇文章提过，但没展开。这个故事值得展开。
2007年6月，英伟达发布了CUDA 1.0——一套让开发者用C语言给GPU编程的工具。在此之前，GPU只能做图形渲染，程序员无法直接控制它的计算。CUDA把GPU变成了一台通用计算设备：任何需要大量并行运算的任务，都可以交给GPU。
问题在于，2007年没有人拿GPU做神经网络。深度学习还是学术界的冷板凳，CUDA的用户主要是物理模拟和石油勘探。英伟达的市值只有大约77亿美元，在半导体行业排在十名开外。黄仁勋——英伟达Nvdia的创始人兼CEO——当时的主打市场是游戏显卡。
（图2：黄仁勋早年在Nvdia发布会上）
转折发生在2012年。辛顿的团队发现，英伟达为游戏设计的GTX 580显卡，恰好适合做神经网络的并行计算——神经网络的核心运算是矩阵乘法，而GPU天生擅长矩阵运算。两张GTX 580，训练6天，就打败了所有用CPU训练的团队。
黄仁勋后来回忆，他第一次看到AlexNet的结果时“立刻意识到这将改变一切”。他当时没有预料到，GPU或者说以GPU为核心和代表的“算力”会成为AI技术革命最重要的基础设施之一。GPU紧缺，算力过剩 —— 算力的账谁来算
从意识到到押注，需要一个时间差。2014年的GTC（GPU技术大会）上，黄仁勋第一次在主题演讲中重点提及机器学习。2015年进一步强调深度学习。到了2016-2017年，AI已经成为GTC的核心主题——英伟达从一家游戏显卡公司，重新定义为AI基础设施公司。
英伟达的市值也侧面说明了故事：2012年约77亿美元，2018年超过1000亿美元，2026年突破5万亿美元成为市值最高公司。从77亿到5万亿，14年，超过600倍。
（图3：Nvdia股价走势图，2014-2026年）
历史的偶然在这里：英伟达做GPU是为了游戏，辛顿用GPU是因为买不起超级计算机。两个完全独立的选择，在2012年撞在了一起。这不是战略规划的结果——没有任何人在2007年规划过“用游戏显卡做AI”。但事后看，它又像是必然：神经网络的计算需求恰好落在GPU的架构优势上。有时候，时代不是被设计的，是被撞上的。
—— ◆ ——
三、一局围棋
2016年3月9日，首尔四季酒店。
李世石，33岁，世界围棋等级分排名第一，18个国际大赛冠军。他坐在棋盘一边，对面是一台机器。
（图3：AlphaGo Vs. 李世石）
这台机器叫AlphaGo，由谷歌在2014年收购的那家伦敦公司DeepMind开发。DeepMind的创始人哈萨比斯是个奇人：13岁达到国际象棋Elo 2300水平，17岁设计并编程了畅销游戏《Theme Park》，剑桥大学计算机科学双一等荣誉学位，后来又拿了UCL的认知神经科学博士学位。他创立DeepMind的目标很明确：先解决游戏，再解决一切。
围棋是人类棋类游戏的最后堡垒。国际象棋在1997年被IBM的深蓝攻克，但围棋的复杂度远超国际象棋——合法棋局数量约为10的170次方，超过宇宙中的原子总数。2014年，最优秀的围棋程序还只能击败业余选手，距离职业水平遥不可及。大多数专家认为围棋被机器攻克至少还要十年。
DeepMind用了两年。AlphaGo的核心创新是把深度学习和蒙特卡洛树搜索结合起来——用神经网络评估局面、选择落子，而不是像传统程序那样暴力搜索。2015年10月，AlphaGo已经以5:0击败了欧洲冠军樊麾，但樊麾只是二段棋手，很多人认为这不算数。
李世石是真正的测试。五番棋。
第一局，AlphaGo胜。赛前绝大多数围棋专家预测李世石会赢，这一局改变了预期。
第二局，AlphaGo胜。第37手，AlphaGo下了一步所有人类棋手都不会下的棋——把子落在了一条看似无关的线上。赛后，专业棋手反复研究这一手，结论是：这是只有机器才会下的棋，但它是好棋。
第三局，AlphaGo胜。3:0。大局已定。
第四局，李世石胜。第78手，李世石下出了后来被称为“神之一手”的棋——AlphaGo评估这步棋的概率低于1/10000。李世石赛后说：“连输三局后再赢一局，感觉竟然这么好。”
第五局，AlphaGo胜。最终比分4:1。
全球约2亿人观看了这场比赛。AlphaGo不只是一场技术胜利——它是AI第一次进入大众视野。2012年的AlexNet是学术界的事，2013年的收购是科技圈的事，2016年的AlphaGo是所有人的事。
围棋职业棋手受到的冲击尤为深刻。几百年来，人类相信围棋的美在于直觉和创造，机器不可能理解。AlphaGo证明：你不需要理解美，你只需要计算。
如果从《规模》到《技术革命与金融资本》：我们处于AI革命的哪个阶段中提到的佩蕾丝框架是对的——AI作为第六次技术革命在2012年前后进入“爆发阶段”——那么AlphaGo就是爆发阶段最标志性的事件。它不创造产值，但它让所有人相信：AI来了。在佩蕾丝的框架里，这种“集体认知的转变”是爆发阶段从学术走向社会的关键节点。1920年代是汽车赛，1990年代是网景浏览器，2016年是AlphaGo。
—— ◆ ——
四、八个人和一篇论文
2017年6月12日，一篇论文出现在arXiv上。标题是“Attention Is All You Need”——你只需要注意力。
八位作者：Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan Gomez、Łukasz Kaiser、Illia Polosukhin。其中七人在谷歌工作，Aidan Gomez当时是多伦多大学的实习生。
（图4：论文《Attention Is All You Need》首页截图）
论文的核心观点可以用一句话概括：不需要循环，不需要卷积，只需要注意力机制。
在Transformer之前，自然语言处理的标配架构是循环神经网络（RNN）——按顺序一个词一个词地读，像人读书一样。问题在于，RNN无法并行：必须读完第一个词才能读第二个，必须处理完上一步才能处理下一步。训练一个大型语言模型，可能需要几周甚至几个月。
Transformer用注意力机制替代了循环结构。注意力的原理是：每个词都可以直接“看到”句子中的所有其他词，不需要按顺序来。这意味着所有位置可以同时计算——GPU的并行能力终于被充分利用了。
论文发表时，反响平平。它只是在机器翻译任务上取得了最好的成绩，而机器翻译不是最性感的问题。审稿人没有预见到它将改变一切。NeurIPS 2017上，这篇论文只是数千篇中的一篇，没有引起特别关注。
但种子已经埋下了。
2018年，OpenAI发布了GPT-1——第一个基于Transformer的语言模型。同年，谷歌发布了BERT——双向Transformer编码器，横扫了11项自然语言处理基准测试。2019年，GPT-2展示了几近流畅的文本生成能力，OpenAI以“过于危险”为由延迟发布。2020年，GPT-3用1750亿参数证明：规模就是力量。
（图5：The Transformer模型机制图）
然后是2022年11月30日——ChatGPT上线。两个月，1亿用户。
从2017年6月的论文到2022年11月的ChatGPT，5年半。8个谷歌工程师写的论文，变成了全球增长最快的消费产品的底层架构。
今天，“Attention Is All You Need”的引用量超过18万次——是人类历史上被引用最多的学术论文之一。但2017年6月12日那天，没有人庆祝。
回头看，Transformer论文的真正意义不在于它解决了什么问题，而在于它打开了一个维度：在此之前，算力和模型规模之间有一道墙——RNN的串行结构让再多的算力也使不上劲；Transformer拆掉了这堵墙，让“更大”终于等于“更强”。它不只是一个新架构，它是通往规模化的钥匙。
—— ◆ ——
五、同一年，另一扇门
Transformer论文发表的同一年，硅谷的另一件大事几乎没有引起注意。
2015年12月，OpenAI起源于加州门洛帕克的一顿晚饭上，包括Greg Brockman（Stripe CTO）、Sam Altman（Y C总裁）、马斯克、Jessica Livingston（Y C创始合伙人）、Peter Thiel（PayPal联合创始人）、Reid Hoffman（LinkedIn联合创始人）等硅谷科技领袖计划进行捐赠，在基于“构建安全的人工智能以造福人类”的愿景下，创建一个非营利性机构。
非营利。开源。不受任何公司控制。
马斯克投了钱——具体多少后来成了法庭上的争议焦点。他最初声称约1亿美元，后来改口约5000万，法院文件显示约3800万到5000万美元之间。不管具体数字，他是最大的早期出资人。
更重要的是Ilya的加入。伊利亚·苏茨克维，辛顿的学生，AlexNet的作者之一。他是深度学习领域最优秀的工程师之一——2013年随辛顿加入谷歌，2015年选择离开谷歌加入OpenAI。Ilya不是被钱吸引的。他在谷歌什么都不缺。他选择OpenAI，是因为相信AGI应该属于全人类，而不是一家公司。
（图6：OpenAI核心创始成员）
成立之初的OpenAI像一个学术实验室：十几个研究员，没有产品，没有收入，只有使命声明和一条承诺——所有研究成果公开发布。
但这个承诺没有维持太久。
2018年2月21日，OpenAI发布简短声明：马斯克离开董事会。官方理由是“与特斯拉AI业务存在利益冲突”。马斯克后来在法庭上说，真正的原因是他与Altman在方向上产生了根本分歧——他希望OpenAI更注重安全，Altman希望更快推进。
马斯克走了。但故事才刚开始。
同一年，OpenAI做了一个更重要的决定：从非营利转型为“利润上限”公司。微软投了10亿美元。
2017年是一个分叉口。Transformer论文打开了一扇门——通往规模化、通往ChatGPT、通往一个万亿级产业。OpenAI打开了另一扇门——通往非营利的理想、通往营利化的诱惑、通往创始人的决裂。两扇门同时打开，两条路从此分叉。
—— ◆ ——
结语
从2012年到2017年，五年。
AlexNet终结了冬天，GPU提供了燃料，AlphaGo让全世界看见了火，Transformer铺好了路，OpenAI埋下了另一条线的伏笔。
深度学习从几个人的执念，变成了一场运动。但运动和革命不一样——运动是方向，革命是制度。2012年到2017年，方向有了，制度还没有。
佩蕾丝的框架里，技术革命要走到“协同阶段”，需要的不只是技术突破，还需要制度重构——新的商业模式、新的监管框架、新的社会契约。2017年的AI，离这些还很远。
更紧迫的问题是：OpenAI的非营利架构撑不住了。算力越来越贵，人才越来越贵，而“造福全人类”不产生短期收入。于是，2019年，OpenAI改了规则。
那是另一扇门打开的时刻——也是创始人们开始走向不同方向的起点。
—— ◆ ——
资料参考
1. Krizhevsky, A., Sutskever, I. & Hinton, G. (2012). ImageNet Classification with Deep Convolutional Neural Networks
2. Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762
3. Silver, D. et al. (2016). Mastering the Game of Go with Deep Neural Networks and Tree Search. Nature
4. Silver, D. et al. (2017). Mastering the Game of Go without Human Knowledge. Nature
5. Hassabis, D. et al. (2017). DeepMind: The Story Behind the Startup. MIT Technology Review
6. NVIDIA Corporation (2007). CUDA Toolkit 1.0 Release
7. Wu, Y. et al. (2016). Google's Neural Machine Translation System. arXiv:1609.08144
8. Radford, A. et al. (2018). Improving Language Understanding by Generative Pre-Training (GPT-1)
9. Devlin, J. et al. (2018). BERT: Pre-training of Deep Bidirectional Transformers
10. Brown, T. et al. (2020). Language Models are Few-Shot Learners (GPT-3)
11. 卡萝塔·佩蕾丝《技术革命与金融资本》，中国人民大学出版社
12. 多伦多大学官网(2013). DNNresearch Acquisition Announcement
13. TechCrunch(2014). Google Confirms Acquisition of DeepMind
14. CNBC(2018). Elon Musk Departs OpenAI Board
