2017年6月12日：一篇论文的诞生

2017年6月12日下午5点57分（UTC），八位Google研究员在arXiv上提交了一篇论文。论文的标题简洁得近乎傲慢——《Attention Is All You Need》（注意力即你所需要的一切）。没有花哨的模型名称，没有冗长的背景铺垫，只有一个掷地有声的判断：处理语言序列，你不需要循环，不需要卷积，只需要注意力机制。

这八位作者——Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Lukasz Kaiser和Illia Polosukhin——当时可能没有想到，他们提出的Transformer架构会在七年后催生ChatGPT、Gemini、Claude等一系列改变世界的产品。这篇论文已被引用超过18万次，成为计算机科学史上被引最多的论文之一。

但对当时的读者来说，这只是一篇"还不错"的机器翻译论文。它在WMT 2014英德翻译任务上达到28.4 BLEU，比当时最佳结果高出2个BLEU以上；在英法翻译上创下41.8 BLEU的单模型新纪录。更关键的是，训练成本极低——仅需8块GPU训练3.5天。

Transformer之前：AI的"串行困境"

要理解Transformer为什么重要，需要先理解它取代了什么。在2017年之前，处理语言序列的主流方法是循环神经网络（RNN）及其变体长短期记忆网络（LSTM）。这类网络的工作方式像人逐字阅读——按时间步逐个处理序列中的每个词，第t步的计算依赖第t-1步的结果。

这种"逐字阅读"的方式有两个致命问题。

问题一：无法并行，训练极慢

RNN的序列依赖性意味着，处理一个100词的句子，必须先处理第1个词，再处理第2个词，依此类推。你无法同时处理第1个词和第50个词，因为第50个词的计算需要前面49个词的信息。这让RNN无法充分利用GPU的并行计算能力。当模型规模增大、训练数据达到数十亿词时，训练时间变得难以忍受。

问题二：长距离依赖丢失

在RNN中，信息必须经过多个时间步的链式传递才能到达远处。一个100词的句子中，第1个词和第100个词之间的信息传递路径长达99步。每经过一步，信息都会衰减一点。LSTM通过门控机制（遗忘门、输入门、输出门）部分缓解了这个问题，但对过长的序列仍然力不从心。这就像传话游戏——经过十个人传话，原始信息早已面目全非。

这两个问题看似是技术细节，实则构成了AI发展的天花板。如果训练不能并行，模型就不能做大；如果长距离依赖丢失，模型就理解不了复杂语境。不解决这两个问题，大模型时代永远不会到来。

自注意力：让AI"同时看见"所有信息

Transformer的核心创新是自注意力机制（Self-Attention）。它的思路简单到优雅：序列中的每个位置都直接"看见"并加权聚合所有其他位置的信息，不需要经过中间步骤。

想象一个会议室里有20个人在讨论。RNN的做法是让每个人依次发言，后一个人只能听到前一个人的总结。Transformer的做法是让每个人同时看到所有人的发言，然后根据自己的需要，给每个人的发言分配不同的注意力权重——对relevant的人多关注，对irrelevant的人少关注。

这个机制带来了两个革命性变化：

自注意力还引入了多头注意力（Multi-Head Attention）——将注意力投射到多个子空间，使模型能同时关注不同维度的信息。一个"头"可能关注语法关系，另一个"头"可能关注语义相似性，还有一个"头"可能关注指代消解。这种多视角的信息处理方式，让模型对语言的理解更加立体。

由于摒弃了循环结构，Transformer本身对序列顺序无感知。论文用正弦/余弦函数生成位置编码（Positional Encoding），将顺序信息注入模型。这是一个工程上的小技巧，但它让Transformer在获得并行能力的同时，不丢失序列顺序信息。

2018年：两条路线的分野

Transformer论文发表后，业界迅速意识到它的潜力不只限于机器翻译。2018年，两个团队沿着不同方向将Transformer推向了通用语言理解：OpenAI选择了解码器路线，Google选择了编码器路线。这两条路线的分野，定义了此后数年AI产业的竞争格局。

两者的区别可以用一个比喻来理解。GPT是"从左到右逐字写"——它看到"今天天气"后预测"很好"，再看到"今天天气很好"后预测下一个词。BERT是"完形填空"——它看到"今天天气[MASK]，我们出去玩吧"后，同时利用左右两侧的上下文来推断被遮盖的词。

当时，BERT的影响力远超GPT-1。BERT在11项NLP任务上创下新纪录，GLUE分数达80.5%（绝对提升7.7%），迅速成为NLP研究的标配。而GPT-1虽然表现不错，但参数量更小、任务覆盖面更窄，关注度相对有限。

但OpenAI的判断与主流不同。他们押注的是：生成式路线的潜力远未被释放，关键在于规模。这个判断在一年后开始得到验证。

2019年：GPT-2与"涌现"的第一次预兆

2019年2月，OpenAI发布了GPT-2。参数量从GPT-1的1.17亿跃升至15亿——提升了约13倍。训练数据从BooksCorpus换成了WebText：从Reddit上获得至少3个karma的出站链接中抓取文本，经去重和清洗后得到约40GB文本，涵盖4500万个链接。

GPT-2的核心主张是一个大胆的判断：语言模型在足够大、足够多样的数据上训练后，无需任何参数或架构修改，就能在零样本设置下执行下游任务。也就是说，你不需要为翻译任务准备翻译数据、为摘要任务准备摘要数据——模型通过预测下一个词就能"顺便"学会这些能力。

这个判断在当时听起来近乎疯狂。但GPT-2确实展现出了多种未显式训练的能力：在CoQA阅读理解数据集上达55 F1，匹配或超越4个基线中的3个，且未使用其12.7万+训练样本；能进行英法互译、生成摘要、回答问题。生成的文本高度连贯，能写出以假乱真的段落。

GPT-2还引发了一场关于AI安全的争议。OpenAI以"模型可能被滥用于生成虚假新闻"为由，拒绝发布完整的15亿参数模型，仅公开了较小的1.24亿参数版本。这是OpenAI首次以安全为由采取"分阶段发布"策略。此后分阶段释放：5月发布3.55亿模型，8月发布7.74亿模型，直到11月才发布完整版本。

这场争议后来被一些人批评为"营销噱头"，但它确实开启了关于AI安全治理的严肃讨论。对投资者而言，这个事件预示了一个重要趋势：AI安全将成为影响AI公司估值和监管风险的关键因素——这个判断在2025年Anthropic的崛起中得到了进一步验证。

核心判断：底层重构，而非算法改良

对投资者而言，理解Transformer的意义在于：它不是某一个公司的技术壁垒，而是整个行业的基础设施。英伟达的GPU算力、OpenAI的模型能力、Google的搜索重构——它们都建立在Transformer之上。投资AI，本质上是在投资Transformer架构的规模化应用。