AI简史:Transformer革命,谷歌的论文,OpenAI看懂了

上一集，AI终于等来了三驾马车。

黄仁勋的GPU给了算力，辛顿们的神经网络给了算法，李飞飞的ImageNet给了数据。

2012年之后，AI不再是笑话。

它开始进入语音、图像、翻译和推荐系统。

但它还躲在产品背后。

真正让AI走到普通人面前的那把钥匙，还藏在2017年谷歌的一篇论文里。

2017 年 Transformer 论文

2017年6月，谷歌大脑团队放出了一篇论文。

标题只有五个英文词，却带着一种很少见的笃定：

Attention Is All You Need。

翻成中文，就是“注意力就是你需要的全部”。

论文作者有8个人。

阿希什·瓦斯瓦尼、诺姆·沙泽尔、尼基·帕玛、雅各布·乌斯科雷特、利昂·琼斯、艾丹·戈麦斯、卢卡什·凯泽、伊利亚·波洛苏金。

很多改变世界的东西，刚出现的时候，并不会自带聚光灯。

它不像iPhone发布会那样有舞台。

也不像ChatGPT上线那样，让普通人马上涌进来。

它只是一篇机器翻译论文。

发在研究者会读、普通人不会点开的地方。

他们想解决的问题，听起来也不宏大：机器翻译太慢了。

2012年后，深度学习已经证明自己能识别图片、听懂语音、改进翻译。

但语言任务有一个麻烦。

过去的循环神经网络，读句子像人在排队。一个词，一个词，往后读。

前面的词算完，后面的词才能继续。

句子短的时候还行。

句子一长，前面讲了什么，后面可能就忘了。

更麻烦的是，它很难并行。

你给它更多GPU，它也没法像训练图像模型那样痛快地一起跑。

因为语言被锁在时间顺序里。

谷歌这8个人换了一个角度：

机器读一句话，能不能不用排队？能不能让所有词同时看见彼此，再判断谁和谁的关系更重要？

比如这句：“苹果发布了新产品，但它的价格让很多人犹豫。”

这里的“它”，到底指苹果，还是新产品？

人类会自然回头看上下文。

你不会把每个字平均对待。

你会把注意力放在关键关系上。

Transformer做的，就是让模型在同一个句子里，同时计算这些关系。

它不再像拿着手电筒在黑屋子里一点点照。

它像突然把灯打开，让房间里的结构一起出现。

这一步的意义，后来被很多人低估过，也被很多人神化过。

它不是魔法，也不是让机器突然“懂”了人类。

但它解决了一个极关键的问题：

语言模型终于可以大规模并行训练。

过去，AI吃数据吃得慢。

Transformer出现后，它终于能更快地吃下整个互联网级别的文本。

GPU让深度学习跑起来。

Transformer让语言模型跑起来。

历史常常这样。

真正的大门，不是在最热闹的地方打开的。

而是在一篇很多人没读完的论文里，轻轻动了一下。

Google发明，OpenAI抓住机会

最讽刺的是：

Transformer是谷歌发明的，但真正把它一路推到ChatGPT的人，不是谷歌。

谷歌当然懂AI。

它有Google Brain，有DeepMind，有杰夫·迪恩，有TPU。

它还有搜索、YouTube、Gmail、Android，以及全世界最好的数据基础设施之一。

按理说，谷歌最有资格把这条路走到底。

但大公司最难的地方，不是没有技术。

而正是因为它拥有太多。

OpenAI当时不一样。

它成立于2015年，最早带着一种理想主义色彩：

做安全的通用人工智能，不让这项能力只掌握在少数巨头手里。

但理想很贵。

训练模型要钱、买算力要钱、招研究员要钱。OpenAI必须找到一条能通向更强智能的路线。

伊尔亚·苏茨克维看到了Transformer的潜力。

伊尔亚是辛顿的学生，参与过AlexNet那场2012年的深度学习复兴。AI简史: 复活AI的三驾马车，黄仁勋的GPU、辛顿的神经网络、李飞飞的ImageNet

他相信一个朴素的判断：

如果模型足够大、数据足够多、训练目标足够简单，机器可能会自己学出很多能力。

Transformer刚好适合这个判断。

它能并行，能扩展，能吃更多文本，能随着参数、数据和算力一起变大。

于是OpenAI开始做GPT。

GPT这个名字，就是Generative Pre-trained Transformer：

生成式，预训练，Transformer。

三个词，后来变成了一个时代。

2018年，GPT-1发布，1.17亿参数。

它不算惊天动地，但证明了一件事：先让模型读大量文本，再拿去做具体任务，这条路走得通。

GPT-1 把 Transformer 和预训练路线接起来

这里顺手解释一下“参数”。

你可以把参数理解成模型大脑里的可调旋钮。旋钮越多，模型能记录的语言模式越复杂。

但旋钮越多，也越需要数据和算力。

2019年，GPT-2发布，15亿参数。

OpenAI一开始不完整发布，说担心被滥用，这件事引来很多争议。

但也让更多人意识到，语言模型已经不只是自动补全。

2020年，GPT-3发布，1750亿参数。

很多研究者第一次明显感觉到，大模型路线不只是线性进步。

GPT-3会写文章，会翻译，会写代码，会模仿格式。

它还能根据几个例子，完成新任务。

它没有为了每个任务单独训练。但它好像在预训练里，学会了很多通用模式。

后来大家把这叫“大力出奇迹”。

但这句话容易说轻了。

真正发生的是：

Transformer给了算法底座，互联网给了文本数据，GPU和云计算给了训练算力。

三驾马车再次汇合，只是这一次，它们不再是小车。

而是重型机械。

算力、数据和预训练

如果只讲Transformer，很容易把这场革命讲成算法单点突破。

但AI历史已经反复证明：单点突破不够。

GPT能长大，是因为算力和数据也变了。

2012年，AlexNet只用了两块Nvidia GTX 580。

到了GPT-3，事情完全不是一个量级。训练语言模型要读海量文本。需要大规模GPU集群，或者TPU集群。

一次训练的成本，可能就是几百万美元。普通实验室很难再靠几台机器追上第一梯队。

这也是微软后来能和OpenAI绑在一起的原因。

2019年，微软投资OpenAI 10亿美元，并在Azure上为OpenAI建设超算资源。

当时这看起来像一个有点冒险的赌注。

毕竟OpenAI烧钱很快，商业模式也还没完全清楚。

但如果你相信大模型会成为下一代计算平台，算力就不只是后勤，而是战略资源。

OpenAI需要算力。

微软需要证明Azure在AI时代的价值。

两边合在一起，就像第二集里的GPU和神经网络。

原本各走各路，突然在一个路口相遇。

微软投资 OpenAI，改变 AI 产业格局

数据也在发生变化。李飞飞做ImageNet时，难点是人工标注。

猫、狗、消防车，每张图都要人确认。

语言模型时代，数据不再主要靠人工一条条标注。

互联网上已经有大量文本：新闻、百科、论坛、书籍、代码、网页、问答、评论。

模型通过一个简单任务学习：

给它前面的文字，让它预测下一个词。

这个任务听起来朴素得不像革命。

但它最大的优势是可以规模化。

只要文本足够多，算力足够强，模型就可以一直读，一直预测，一直调整。

这就是预训练的力量。

它不是让AI先学一个专门技能，而是让AI先在海量语言里泡很久。

“预训练”这个词听起来技术，其实像一个人先大量阅读。

先不急着考某一门具体科目。

先把语言、事实、格式、推理习惯、写作套路都看一遍。

等真正遇到任务时，再根据任务要求调用这些积累。

它读事实。

读语法。

读推理痕迹。

读代码结构。

读人类怎么提问、怎么解释、怎么讲故事、怎么争论。

它当然不是像人一样理解世界。

但它开始掌握语言表面背后非常复杂的统计结构。

等你给它一个新任务，它不需要从零学。它会在已有的语言能力里找到相似模式，再把结果生成出来。

这也是GPT-3最让人不安、也最让人兴奋的地方。

很多过去我们以为需要专门训练的任务，可能可以通过一个大模型加少量提示完成。

你给它背景、格式、例子、限制。

它就能顺着你的任务往下做。

普通人后来使用ChatGPT，本质上就是在用这个能力。

只是2020年的GPT-3还不是一个大众产品。它像一台发动机，已经轰鸣起来。

但还藏在机房里，普通人听不到。

技术准备好了，产品还没有

2020年的OpenAI，站在一个很微妙的位置。

GPT-3让AI圈震动，但它没有像ChatGPT那样引爆普通人。

原因很简单：它还不像一个产品。

它更像一个API，开发者能用，研究者能用，公司能接进去。

但普通人不会为了写一封邮件去调接口，更不会为了问一个问题去读文档。

AI依然太专业。

普通人真正想要的是：

我问一个问题，你给我一个有用回答。

我追问，你接着聊。

于是OpenAI内部开始往这个方向走。

伊尔亚和团队意识到，GPT不是只能续写，它可以被训练成更符合人类偏好的助手。

这里的关键不只是继续堆参数。

而是让模型学会“什么样的回答更像一个人类愿意接受的回答”。

后来的RLHF，人类反馈强化学习，就是这个思路的具体做法。

让人类标注员比较多个回答。

告诉模型哪个更好，哪个更差。再让模型逐渐学会清楚、有帮助、不过界地回答。

你可以把RLHF理解成“人类给AI批改作业”。

模型先写几份答案，人来告诉它哪份更像好答案，模型再根据这些偏好慢慢调整。

这一步看起来没有Transformer那么耀眼。

但对普通人非常关键。

AI第一次开始接近一个“助手”的形态，而不是一台只会补全的机器。

所以，Transformer革命真正通向ChatGPT，中间不是一条纯技术直线。

它经过了论文、模型、算力、数据、预训练、API、反馈训练。

最后才走到那个普通网页。

2017年那篇论文打开了技术之门。

2020年的GPT-3证明门后有东西。

但这时候，AI还差最后一步：

有人要敢把它放到所有人面前。

让它接受真实用户的混乱问题、错误用法、惊讶、挑剔和误解。

论文不等于历史

Transformer的故事，有一个很值得普通人记住的提醒：

论文不等于历史。

技术不等于产品。

发明不等于普及。

谷歌发明了Transformer，但没有第一个把它做成全民产品。

OpenAI看懂了Transformer，把它做成GPT，再把GPT推向对话式产品。

这也是AI历史反复出现的模式。

1956年，麦卡锡给AI命名。

但那个时代没有足够算力和数据。

1990年代，辛顿坚持神经网络。

但要等GPU和ImageNet。

2017年，谷歌写出Transformer。

但还要等OpenAI、微软云、RLHF和一个面向普通人的聊天入口。

技术成熟不是一个瞬间，而是一串条件终于排到一起。

很多时候，你以为自己看到的是某个天才的灵光一闪，其实背后是几十年积累突然在同一个时间点合上了。

Transformer之后，AI的重心也变了。

但在2020年，普通人还没有真正感受到这一切。

GPT-3已经很强，却仍然像一台藏在车库里的发动机。

它能轰鸣，能驱动未来。

但还没有方向盘、座椅和仪表盘。

技术圈已经听见声音。

普通人还没坐上去。

下一步，需要一个人做产品决定：

把这台发动机装进一辆所有人都能开门上车的车里。

那个人就是萨姆·奥特曼。

2022年11月30日，OpenAI上线ChatGPT。

一个简单的聊天框，把Transformer、GPT、云算力、互联网数据、人类反馈训练全部藏在背后。

普通人看到的只有一个输入框，但那个输入框背后，是AI走了70多年才抵达的门口。

我们下期见。