夜雨聆风听雨 发自 凹非寺量子位 | 公众号 QbitAI
最新访谈中，奥特曼给出了一个罕见的评价：
「他可能是AI历史上最重要、却不太为人所知的研究者。」
这个人就是Alec Radford，真·GPT之父。
你可能没听过他，但你大概率用过他发明的东西。
GPT-1、GPT-2、CLIP、Whisper，他都是论文第一作者。
此外，他还参与了GPT-3、DALL·E、Scaling Law、GPT-4和GPT-4o等一系列关键工作。
奇怪的是，这样一个履历几乎横跨大模型每次关键转向的人，没有博士学位，也很少接受采访。
ChatGPT红遍全球时，聚光灯下几乎看不到他的身影。
但如果顺着过去十年的AI论文往回翻，会发现一个更奇怪的现象：
每当模型开始获得一种此前没有的通用能力，Alec Radford的名字，往往已经提前出现在作者栏里。
OpenAI真正起飞，从招进Alec开始
最新一期《Invest Like The Best》节目中，主持人问奥特曼：
「这家公司一路走来，你最欣赏的幕后功臣是谁？」
奥特曼脱口而出，是Alec Radford。
Alec做出的工作，后来真正演变成了GPT系列。
除此之外，他还不断启发、引导身边的人，把研究推向一些后来被证明极为重要的方向。
《连线》也同样给过一个分量极重的判断：
OpenAI的崛起之路，真正始于它聘用了当时还默默无闻的Alec Radford。
2016年，Alec加入OpenAI。那年他只有23岁。
那时，他还是个半夜吃菠萝洋葱披萨、和同学一起打Kaggle比赛的毛头小子，在波士顿的宿舍里创办了一家小型AI公司：Indico。
接受邀请加入OpenAI后，Alec也没觉得多重要，反而感觉这份工作「有点像读研究生」。
没有太多短期压力，也没有必须立即做成的产品。他可以自由寻找一个当时还没人知道答案的问题：语言模型究竟能干什么？
他的第一次尝试，是拿20亿条Reddit评论训练语言模型。数据规模不小，结果却没什么用。
这个实验和OpenAI早期的许多探索一样，失败了。
但OpenAI让他继续做下去，时任CTO的Greg Brockman回忆：
「我们当时就觉得，Alec很厉害，就让他做他想做的事吧。」
于是，这个年轻人得以继续尝试他的实验。但很快，他就受限于OpenAI的算力不足。
既然跑不起更大的实验，Alec便把范围缩小，找来大约1亿条亚马逊商品评论，让模型做一件简单到近乎乏味的事：根据前面的文字，预测下一个字符。
这个过程中，一个意外出现了。
虽然没有人教模型什么叫好评、什么叫差评，但模型内部有一个神经元，开始主动区分评论的正负情绪。
把它调向一个方向，模型更容易生成好评；调向另一个方向，它便开始吐槽商品。
OpenAI后来把它叫作「无监督情感神经元」。
这次实验第一次给出了Alec真正想找的答案：
当模型被要求在足够多的数据上完成预测任务时，它可能自行学会一些训练目标里从未明确写出的能力。
Ilya Sutskever还鼓励他跳出亚马逊评论，让模型去学习规模更大、内容更多样的文本，甚至是整个互联网。
问题是，以当时的神经网络架构，处理如此庞大的数据可能需要数年。
但很快，OpenAI迎来了好运。因为在2017年，谷歌那篇改写AI进程的论文《Attention Is All You Need》，横空出世。
Ilya一眼就看中了Transformer架构。他的第一反应是：「这正是我们一直在等的东西！」
Alec随即把Transformer接到此前的实验路线上。他找来BooksCorpus数据集，其中包括7000多本尚未正式出版的英文书籍，题材横跨爱情、冒险和奇幻。
与许多句子被打散的数据集相比，书籍保留了长篇连续叙事，更适合让模型学习前后文之间的远距离关系。
他并没有像谷歌那样用Transformer做机器翻译，而是让它预测下一个最可能出现的词。
机器有了反应：一个词，接着一个词，再一个词——每个新词都是从那七千本书中隐藏的模式推断出来的。
对Alec来说，「这两周内取得的进展，比过去两年加起来都多」。这套实验最终成为GPT-1的预训练基础。
他与同事开始谈论一个叫「Big Transformer」的方向：不要给模型设计更多精巧规则，直接把模型、数据和计算规模做大，看看它还能学出什么。
2018年，这条路线有了正式名字：
Generative Pre-trained Transformer（生成式预训练Transformer），简称GPT。
第一篇GPT论文共有四位作者，排在第一位的，就是Alec Radford。
GPT-1没有立即轰动世界，但它给OpenAI带来了一样更重要的东西：方向。
Alec取得突破后，OpenAI管理层作出了一系列关键决定。他们开始把研究资源从机器人等分散项目中收拢，集中到语言模型。
比起继续设计复杂的新结构，团队更愿意收集更多数据、投入更多算力，把已经显示出潜力的方法继续放大。
一年后，GPT-2发布。
它的参数量从GPT-1的1.17亿增加到15亿，训练数据也从7000多本书扩展到约800万个网页。
GPT-2论文共有6位作者，Alec仍然排在第一位，并与Jeffrey Wu为共同一作。
这一次，模型不再需要针对每项任务重新训练。只靠预测下一个词，它已经能尝试翻译、问答和摘要，甚至在多个零样本测试中取得不错的成绩。
2020年初，OpenAI把这种关系写进《神经语言模型的Scaling Laws》论文。
Alec同样在10位作者之列。此前依靠一次次实验积累的判断，开始被描述成可以预测的数学规律。
同年5月，OpenAI把模型进一步放大到1750亿参数，做出了GPT-3。
此时，论文作者已经从GPT-1的4人增加到31人。
第一作者变成Tom Brown，Alec排在第29位，仅位于Ilya Sutskever和Dario Amodei之前。
署名位置的变化，也暗示了GPT项目性质的改变。
它不再是Alec主导的少数人实验，而是OpenAI调动研究、工程和算力共同完成的大型项目。
Alec最早推动的路线，已经变成这家公司最重要的技术战略。
但就在GPT真正开始为外界熟知、即将产生巨大影响的时候，Alec却已经把目光移向了别处。
语言之外，他又连续押中图像和语音
GPT-3发布后，Alec做回了他的老本行：图像。
早在加入OpenAI之前，他最有影响力的作品就是DCGAN。
他与Luke Metz、Soumith Chintala把卷积网络引入GAN，解决了这类模型难以稳定训练的问题。
他们还发现，模型在学习生成卧室图片时，会自行形成关于床、窗户和场景结构的视觉表征。
后来反复出现在Alec研究中的那种直觉，此时已经露出雏形：
只要找到一个足够通用的训练任务，模型可能在完成任务的过程中，自己学出更多能力。
其实吧，这中间还有个八卦。
2016年，黄仁勋在英伟达大会上展示DCGAN生成的图像，却把主要功劳归给了Yann LeCun当时领导的Facebook实验室。
Alec和几位同伴坐在波士顿办公室里看直播，非常受伤。
不久后，Alec就离开波士顿，加入OpenAI。
他的朋友Victoroff甚至认为，这次被忽视是Alec决定前往OpenAI的重要原因之一。
几年后，他带着GPT重新回到图像。
2020年，OpenAI发布Image GPT：把图片展开成一串像素，再像预测下一个词一样，预测下一个像素。
Alec排在论文作者第二位。
它证明，GPT并不天然属于语言。只要数据能够被表示成序列，同一套方法也可以用来学习图像。
只是逐个生成像素实在太慢。半年后，DALL·E把图片压缩成视觉Token，再将文字和图像放进同一条Transformer序列。
「牛油果形状的扶手椅」「遛狗的萝卜宝宝」，这些从未存在的组合第一次被模型画了出来。
与DALL·E同一天发布的，还有CLIP。
这一次，Alec重新回到共同第一作者的位置。
OpenAI拿出从互联网收集的4亿组图文对，让模型只做一道选择题：哪段文字和哪张图片是一对？
没有固定类别，也没有为每项任务专门训练。
最终，CLIP在没有使用ImageNet训练集的情况下，零样本识别准确率已经与早期有监督训练的ResNet-50相当。
图像之外，他也在尝试声音。
2020年的Jukebox把音频压缩成离散编码，再让Transformer像生成文字一样生成音乐。
两年后，同一条路线通向了更实用的Whisper。
Alec又排在论文作者第一位。
OpenAI从互联网上收集了68万小时音频及其文本，数据并不完美，却包含不同语言、口音、噪声和使用场景。
Whisper没有专门针对某一张榜单优化，在多个不同来源的数据集上进行零样本测试时，它却表现得更加稳健，更能应对真实世界里的口音、背景噪声和专业词汇。
这些工作表面横跨图像、语言、多模态和语音，背后却源自Alec的同一个判断：
少规定一些规则，多提供一些数据和算力，通用能力可能自己出现。
他似乎总能比行业共识早一步，找到下一个值得放大的简单任务。
OpenAI最神秘的男人
大佬的辉煌过往，不胜枚举，介绍到这里就结束了。
回到他本人，几乎可以说「曾是」OpenAI最神秘的男人。
与他的论文影响力相比，Alec几乎不经营个人品牌。
虽然有X账号，坐拥7万粉，但他很少围绕自己发东西，大多是转发。
上面置顶的，至今还是2018年发布GPT-1时的那条消息。
「这是我过去一年一直在做的事情。」
他先列出CoVe、ELMo和ULMFiT三项启发来源，然后用一句颇为朴素的话介绍成果：
「一个Transformer语言模型，只需少量调整，就能被迁移到各种自然语言处理任务。」
谁能想到，这项工作预告了一个全新的时代？
关于Alec的公开长篇采访，寥寥无几；而他的个人网站，也简单得近乎空白。
只有姓名、「Latest Posts」和分页按钮，几乎没有其他内容。
（连照片都一直用同一张，大佬实在太低调了）
这与他的行业地位形成了一种奇怪的反差。
公众谈起OpenAI和GPT，最先想到的是奥特曼和Ilya Sutskever；但研究者谈起过去十年的关键论文，却很难绕过Alec Radford。
奥特曼在最新访谈中形容，如果去问那些与Alec共事过的人，他们当然会先说：
这是一个「几十年一遇的天才」、极具创造力的思考者，对自己的研究有极深的理解。
但话说完之前，每个人都会补上另一句：
他也是他们合作过的最善良、最好的人之一。
One More Thing
不过，这位评价超高的GPT之父，在科研上确实挺不走寻常路的…
2024年12月，Alec离开工作近九年的OpenAI，从事独立研究。
但当所有人都期待他做出下一个GPT的时候——
Alec跑去搞了个「老头AI」。
今年4月，他和Nick Levine、David Duvenaud共同推出Talkie。
这是一个拥有130亿参数的「古董语言模型」，基础模型使用2600亿个Token训练。
它的预训练语料有一条硬规矩：
1931年1月1日之后出版的英文材料，统统不！准！进！
所以，它读过蒸汽机、飞机和第一次世界大战，却不知道电视机、互联网和第二次世界大战后来发生了什么。
更不可能知道Python。
但就这么个老古董，研究人员给它看了几个Python程序示例，再让它解决HumanEval编程题。
它居然真的写出了几段简单代码。
这个实验真正测试的是：一个从未接触现代计算机的语言模型底座，获得少量新示例和后训练后，能以多快的速度吸收一项完全陌生的技能？
啥？你是说当全网都还在猛猛Scaling、想办法让模型读得更多的时候…
GPT之父却反手把它「断网」了近一百年？？
如果模型没见过答案，依然能够现学现用，那它靠的究竟是记忆，还是学习？
也不知道大佬这次，究竟又提前押注了什么…
不过按照他的惯例，等外界终于看懂这道题时，他本人多半已经跑去做下一道了~
参考链接：[1]https://x.com/InvestLikeBest/status/2086849947119333878?s=20[2]https://www.wired.com/story/what-openai-really-wants/[3]https://www.bostonglobe.com/2023/06/10/business/how-couple-olin-college-students-helped-spark-ai-chatbot-revolution/[4]https://www.newyorker.com/books/under-review/can-sam-altman-be-trusted-with-the-future
往期历史
