ARTICLE · 1047646
AI 时代的预言 · 引子——那篇没有新闻的论文
AI 时代的预言 · 引子——那篇没有新闻的论文 记得早先少年时 大家诚诚恳恳 说一句 是一句 ——木心《从前慢》 2017 年 6 月 12 日 17 时 57 分，一份 8 页的论文上传至 arXiv，编号 1706.03762。没有发布会，没有通稿，没有一条新闻。《Attention Is All You Need》——这个题目与它此后的境遇，构成一个不无反讽的对照：在 ChatGPT 让它家喻户晓之前无人问津，在那之后截至目前，它应该已被引用超过 20 万次，稳居《自然》统计的 21 世纪最高被引论文前十。 
2017 年 5 月，浙江乌镇。 谷歌的 AlphaGo 与柯洁对弈三局围棋，柯洁全部告负。第三局结束的时候，这位当时排名世界第一的棋手离席落泪。人机之间的这场智力分际，从此再无悬念。 
那几天，全世界的社会、体育、科技新闻都在讲同一件事。对绝大多数人来说，“人工智能”这四个字，形象就是这一刻：一台机器，在最体现人类智慧的游戏面前，赢了。这就是说，机器比人聪明了——至少在棋盘上。这为人工智能打造了一场全球性的科普，也代表了高科技企业对人工智能技术充满“野心”的宣告。一时间，人人都在讨论 AlphaGo 的厉害之处，IT 圈之外的很多人也都摩拳擦掌，开始研究“深度学习”…… 这是聚光灯下的时刻，理应如此。 就在同一个五月，加州山景城，谷歌的园区里，有几个人在赶另一件事的截止日期。他们不是下棋的，他们在写一篇论文。 2017 年 6 月 12 日 17 时 57 分，《Attention Is All You Need》提交到 arXiv——一个研究者上传预印本的公开网站。八页、八位作者，来自谷歌大脑、谷歌研究院和多伦多大学。论文脚注里有一句少见的说明：八人贡献相同，作者顺序随机。 论文标题直译为中文是《注意力就是你所需要的一切》，粗看着不像是科技论文，像是文科生写的。这个标题后来被讨论出许多层含义。据作者之一利昂·琼斯（Llion Jones）说，它只是五秒钟的念头——既然模型里把 RNN/LSTM/卷积都去掉，只保留 Attention，那就把 Beatles 那句“All You Need Is Love”改成“Attention Is All You Need”当作标题吧。他还说：“我是英国人嘛。这真的就是五秒钟的念头。我根本没想过他们会用。”这个标题果然源自科技圈以外。 他们当时当然也不知道，这篇论文已经彻底推开了 AI 时代的大门——更想不到它会以多快的速度席卷全世界，把多少不可预见的未来一并带来。 这篇论文差点没赶上投稿。最后一个翻译结果，直到截稿前五分钟才跑出来，另一位作者坐在 1965 号楼的茶水间里等结果。他们比截止时刻早两分钟提交。 审稿意见一共三份：一份正面，一份非常正面，一份的评价是中性的“还行”。 2017 年 12 月，长滩，NeurIPS 年会——机器学习领域最重要的会议之一。这篇论文没有拿到报告席位，只被安排了一场傍晚的海报交流。可那天傍晚，展板前挤满了人，八位作者讲到嗓子发哑；晚上十点半闭馆，人群不散，工作人员不得不来请他们离开。LSTM——长短期记忆网络——的发明人、此前二十年间统治这个领域的那位学者塞普·霍克赖特（Sepp Hochreiter），也走过来向他们道贺。他发明的那个架构，正是即将被这篇论文请下神坛的东西。 即便如此，第二天，世界上依然没有几条关于它的新闻。 这篇论文解决了什么问题？ 以下是 WorkBuddy 的解释: 说起来并不复杂。人读一份合同，不会逐字平均用力。读到“违约金”三个字，人会放慢；读到“本合同一式两份”，人会跳过去。人有一种本事：在一长串文字里，自己决定该看哪里、看多重。 2017 年之前的机器不是这样读的。它像小学生念课文，一个词接一个词往下念，念到后面就忘了前面，句子一长就丢三落四。为了让它念得不那么差，工程师造出很复杂的记忆结构，一层套一层，越造越慢。 这篇论文做的，是把那套逐字念的结构整个拆掉，换上前面说的那种“跳读”：让机器面对一整段文字时，自己判断哪些词与哪些词有关、关系有多密切。论文里的数学很繁，思路却是标题这一句——注意力，就是你所需要的一切。 它原本是为一个很具体的问题写的：把法语翻译成英语，更快，更准。论文里跑的全部实验，都是翻译。 我的理解是： 人类的语言和文字发展是颗粒度细化和内涵不断衍生的过程，到现在已经复杂到人类自己也掌握不准语法了，而且正在继续趋向于更离散、更混乱。换句话说：连人类自己都常常不讲语法，那机器就不必逐字顺着读了——把它们切成碎片化的标记（Token），再用注意力把碎片的关系重新组织起来，然后还给人类吧。 在我看来，这已经上升到哲学和社会学的层面。 接下来的部分，是这个故事真正值得记下来的地方。 很多年后的转述都说，谷歌没有看懂自己家的论文。这不准确。 论文作者之一雅各布·乌斯科雷特（Jakob Uszkoreit）后来说得很直接： “我们很清楚 Transformer 能做魔法般的事。你可能会问：为什么 2018 年谷歌没有做出 ChatGPT？现实地说，我们 2019 年、甚至 2020 年就可能做出 GPT-3。真正的问题不是‘他们看见了吗’——我们看见了。真正的问题是：看见了，为什么什么都没做。” 看懂，和做成，中间隔着的不是认知，是对突破和成功的渴望。历史是在不经意间写就的，成就一项伟大变革的最大价值，往往出人意料地、跳跃着，由另一批人兑现——当然，他们都在“风眼”附近。 谷歌不是没给它派用场。2018 年，谷歌基于这套结构发布了 BERT——用在哪里？优化搜索。给搜索结果排序，是这家公司最顺手的用法。沙泽尔（Noam Shazeer）曾提议用这套东西把整个搜索索引推倒重来，这个提议大胆到连论文的其他作者都觉得荒谬，没有通过。谷歌为这项技术申请了专利，但那是防御性的；公司内部流行的判断是：技术向前走，谷歌会自然收获好处。 一年多以后，旧金山一家成立不到两年的小公司 OpenAI 里，有人读到了这篇论文，如获至宝。据后来的报道，首席科学家伊利亚·萨茨克维尔（Ilya Sutskever）的反应，接近这样一句话：This is the thing。他让研究员亚历克·拉德福德（Alec Radford）沿着这条路做下去。那家公司的首席执行官萨姆·奥尔特曼（Sam Altman），多年后回忆说： “那篇论文出来的时候，我不认为谷歌有人意识到它意味着什么。” OpenAI 做出来的东西，叫 GPT——生成式预训练变换器。GPT 的那个 T，就是 Transformer，就是这篇论文。 2018 年，GPT-1，1.17 亿参数，几乎没有新闻。2019 年，GPT-2，15 亿参数，微软向这家公司投资十亿美元。2020 年，GPT-3，1750 亿参数。2022 年 11 月 30 日，ChatGPT 上线；两个月，一亿用户。 从那八页纸，到那个所有人都在谈论的对话框，中间隔了四年半。 2024 年 3 月，八位作者第一次同台重聚。舞台不是谷歌，也不是哪所大学的礼堂——是 NVIDIA GTC，英伟达一年一度的开发者大会。 
台下坐着的，是那家卖算力芯片的公司权利影响范围内的人。 八个人后来全部离开了谷歌，其中七人创业：有人做对话产品，有人做大模型公司，有人把这套结构用去设计 RNA 药物。论文的引用量到 2025 年底超过二十万次——这个量级，全世界一年只有个位数的论文能够达到。 这些事实摆在一起，指向一个判断。这里先只把它留在纸面上，这个系列后面会回到它：发明者，往往不是“收税”的人。 发明在谷歌，兑现的是 OpenAI，而最大的一块收益，落在卖算力的英伟达手里。谁定义接口，谁收税——发明者和接口的定义者，常常不是同一个人，有先发优势的人不一定就能笑到最后。 回头看那四年半，有三件事同时发生了。 第一，它跨出了场景。一篇为机器翻译写的论文，后来被拿去做蛋白质结构预测、写代码、回答问题、参与驾驶。没有人为它规划过这些用途。 第二，它跨出了主体。写下它的是谷歌，把它变成产品的，是一家当时成立不到两年的小公司。 第三，它跨出了时间。从论文落地到世人看见，四年半。这四年半里，全世界资源最多的公司握着它，没有任何人宣布它的到来。 一篇论文，同时跨过场景、主体和时间——这件事，它值得一个更认真的解读。 那就是这个系列往后要做的事。这一篇只讲到这里，留下来的，是那句话——全世界都在看那次巅峰对弈的时候，真正决定后面数十年世界格局的东西，安静地出现了。 世界的故事讲完了。这个系列文章不会一直讲别人的故事。 下一篇，从 Apple II 说起——它放在一间县城中学的机房里。
一、年度 AI 新闻头条
二、没有新闻的论文
三、论文里是什么
四、谷歌做了什么
五、兑现价值的公司
六、重聚的舞台
七、三重跳跃
从前的日色变得慢
车，马，邮件都慢
一生只够爱一个人
——木心《从前慢》