人工智能发展史AI教父辛顿教母李飞飞背后的故事(下篇)|《李飞飞自传:我看见的世界》读书笔记

（以下为部分读书会讲稿内容，偏口语化）

弗兰克·罗森布拉特人物故事：

       如果说图灵是人工智能的理论奠基人，那接下来我要讲的这位天才，就是第一个让机器真正学会“自主学习”的人，他就是——弗兰克·罗森布拉特。1958年，他发明的感知机，是人类历史上第一个机器学习模型。

       那么这个感知机是个什么东西？它的理论基础是什么？在1943年有两位科学家对大脑基本单位神经元做了一个探索研究，传统神经研究会纠结大脑里复杂的生物电、化学反应；而两人做了关键一步：抽象简化。就是剔除神经元体内杂乱多变的生化细节，将神经元简化为相对简单的信号交换。我们可以这样类比理解：在原子物理里，拆解出原子、基本粒子，我们才看懂万物构成。他们这样做只保留最本质逻辑：神经元是一个信号交换单元，只关心「输入信号→内部运算→输出信号」的对应关系。这套“只看输入输出关联”的分析方法，第一次把大脑从“生物肉体”变成了一套可数学计算、可逻辑建模的信息系统，直接打通了生物学与数学、计算机科学的边界。

        罗森布莱特就是运用了这个理论基础通过数学的方式去模拟单个神经元的输入输出这个传递信息的方式发明了这个感知机，所以这个感知机也叫机械神经元。这是生物学到数学再到计算机科学的一个跨越。

        罗森布拉特是一位极其特别的天才，他不是纯粹的数学家，也不是单纯的程序员，而是一位横跨心理学、神经科学、数学、天文学的全能学者。

      这个感知机的发明，让人类第一次看到了机器拥有智慧的可能。

       但很讽刺的是，刚才提到的（请查阅读书笔记上中篇）那两位美国科学家，这两位美国科学家一个叫约翰·麦卡锡，一个叫马文·明斯基的两位科学家，他们于1959年在麻省理工建立了人工智能实验室，后来，在1963年，其中的一位叫约翰·麦卡锡他就搬迁去了斯坦福大学，在斯坦福大学建立了人工智能实验室，那么他们这两个人工智能实验室在当时六七十年代是全球最权威的人工智能实验室，那么其中的一位留在麻省理工大学的那位科学家叫马文·明斯基，他是这个发明感知机的罗森布拉特的一位中学同学、人工智能权威大佬明斯基，在1969年他写了一本叫《感知机》的书公开从理论上推翻了感知机的核心价值，猛烈地批评了这个单层感知机存在无法突破的缺陷、科研价值极低。这场权威质疑，直接终结了感知机的发展，人工智能直接进入长达十年的“AI寒冬”。

       令人遗憾地是，被泼了冷水之后，这位性格温柔内向、多才多艺的科学家罗森布拉特，在1971年7月11日，在自己43岁生日当天，在独自划船庆祝生日时意外溺水离世，仓促落幕了短暂的一生。

        可以说人工智能发展的历史还是相当曲折的，阿兰图灵和罗森布拉特两位开山鼻祖都在40岁出头就去世了。

       直到1980年，日本一位研究者福岛邦彦在罗森布拉特的感知机的基础上开发了一种由多个感知机组成的算法，一种将感知机堆叠成一个连接的层次结构。福岛邦彦将这一成果称为“新认知机”。福岛邦彦能发现感知机的缺陷并作出突破的理论基础，是建立在神经生物学的发展之上的。1959年，神经生理学家休伯尔和威塞尔在哈佛大学进行了一项开创性的研究，研究了哺乳动物的大脑，特别是猫的视觉皮质。研究发现：感知不是发生在单个神经元层次上的而是通过多层神经元组成的层次结构进行的。他们因此而获得了1981年的诺贝尔生理学或医学奖。虽然这项成果早在1959年就已经发布，但是当时没有人看到它的意义，差不多过了二十年才引起人们的重视。福岛邦彦就是其中一位应用这项理论的研究者。

        上面提到的1986年做那份“反向传播”报告的时候，辛顿还是卡内基梅隆大学的一名教授。人类历史上，只有辛顿一人同时拥有计算机界最高奖也就是图灵奖、自然科学最高奖也就是诺贝尔物理学奖，站在人工智能与基础科学的双重顶峰。

杰弗里·辛顿人物故事

       1947年12 月6 日，辛顿生于英国，出身传奇科学世家：他们的家族统治了数学和逻辑学两百多年。曾祖父是布尔代数创始人；祖父是提出四维立方体的数学家；父亲是知名昆虫学家。

       家族全是顶尖学者，他父亲还打压过他对他说过这样的话：“你穷其一生的努力都比不上我的成就。”让少年辛顿格外叛逆。18 岁考入剑桥读物理化学，只上一个月就退学，后来又被家人叫回来读建筑学，没读多久又退学了，再后来去读物理生理学，因为是中途转入这个专业所以他没有知识基础学的很费劲他就又想辍学，结果他听说到第三年的时候老师会讲这个人类的大脑，他在高中的时候有位学霸同学告诉过他人类的大脑是很神奇的，他就对这个研究大脑特别感兴趣，可结果，等到了第三年，这个教授只是轻描淡写地讲解了一下大脑里有神经元、突触，然后就不讲了，相当于你想了解汽车的行驶原理他只讲了汽车有方向盘和轮胎。当然，这也不能怪老师，当时人类对大脑的研究还是很有限的，大脑如何运作的还是一个未知领域。辛顿就觉得很没意思又辍学，再后来又被家里赶回来读了哲学，最后转去读了应用心理学，才终于混了个剑桥大学荣誉学士的毕业证，毕业后就跑去做木匠，虽然做木匠，但他还是对大脑的研究很有想法。

        后来他觉得还是在大学里才能将他的想法做成实验研究，他放弃当木匠又去大学读书，当时爱丁堡大学有一位很出名教授叫希金斯教授是研究神经网络的，他慕名而来，结果这位教授老劝他放弃研究神经网络，说这个是冷门，没有前途。刚才前面我们也有提到过1969年那个感知机被泼了冷水了，所以这教授也是受到了那个学术批评的影响，改变了研究方向。当时学界主流信奉符号逻辑AI，认为机器只能靠人为编写规则思考；神经网络被判定“理论失效、无法训练多层网络”，几乎所有人放弃。相当于这个神经网络已经被学术界判了死刑了，他每周上课都要和这个教授吵一顿，但这位教授虽然不喜欢他也不希望他研究这个方向，但还是支持他做研究，在1978 年给他授予了爱丁堡大学人工智能博士，他之后也从此终身押注一条当时无人看好的道路——人工神经网络，后来也成为了卡内基梅隆大学的教授。

        后来，就是刚才提到的1986年，他和加州大学的教授发表里程碑论文，介绍了一种能让新认知机等算法有效学习的技术，也叫反向传播技术，可以让认知机像人类婴儿一样从错误中自主学习。这个理论回击了学界一直以来对神经网络不能实用的质疑，相当于平反了神经网络的地位。在学术界产生了轰动，但很可惜，由于1987年经济危机，这个学术成果没有得到资本的重视，因为这个AI行业在当时太前沿了，没有硬件支撑，也没有大数据的训练，所以没有变成实用的东西，所以不被看好，他也就没有得到更多的科研经费。

        在无人看好的三十年里，还好这位科学家没有像刚才提到那两位天才那样早早就去世了，但他的生活遭遇很多挫折，他的前妻癌症去世，后来再婚的妻子也罹患癌症，儿子患有多动症和学习障碍，独自抚养孩子，为生活所累。

       不过辛顿在学术上没有放弃，他持续带学生做人工智能的研究，如今全球AI 顶流几乎都出自他门下：

• 杨立昆（Meta 首席科学家、图灵奖得主）：博士后师从辛顿；
• 伊利亚・萨茨凯弗（OpenAI 前首席科学家，GPT 核心设计者）：辛顿带的博士生；
• 本希奥（深度学习三巨头之一）：长期与辛顿合作深耕神经网络。

         他坐了30年的冷板凳，直到2012年，计算机的硬件和性能已经大幅提高，同时李飞飞出来了Imagenet算法大赛，他就带领两个学生使用了英伟达的GPU研究出了一个叫Alexnet 的算法才一夜颠覆了AI历史。今天我们熟悉的Alpha Go 和ChatGPT等等都是建立在这套算法的基础上开发的。这个我们后面讲到李飞飞的时候也会讲到。那么辛顿也终于否极泰来，在2013年谷歌收购了他的一家公司，他也加入了谷歌后来还干到了副总裁，也拿下了图灵奖，在77岁的时候还拿下了诺贝尔物理奖。他获奖感言还说他能拿这个奖都是因为有一帮天才学生在帮他。这也让全世界注意到了那些站在导师后面默默付出的研究生们。但就在辛顿高光的时候，他激流勇退，2023 年辛顿突然辞去谷歌所有高管职位，放弃优渥待遇，公开向全世界警示AI 风险，坦言“有些后悔推动这项技术”。他的心态就像当年的爱因斯坦，爱因斯坦一生最后悔的事情就是当初给美国总统罗斯福写信建议制造原子弹。那么辛顿也认为AI就像原子弹如果落入坏人的手里，那么人类也存在被毁灭的危机。

         我觉得我们要感谢辛顿，辛顿培养出的大批AI顶级人才基本都是尊重辛顿的这个安全AI理念的，都是属于安全派，比如，刚才提到的那位前OpenAI 的首席科学家，他就因为看不惯OpenAI逐渐偏离了安全理念，前不久他就离开了OpenAI，还有很多位辛顿的学生都离开了那种过于商业化的公司，自己创立了安全理念的AI研究公司。

         总的来说，辛顿的人生是可以说是一段极致反差的史诗：前半生：逆全世界而行，坚守被抛弃的神经网络，亲手催生改变人类文明的AI；后半生：站在技术之巅，放下名利，坦诚预警自己创造出的技术潜藏的危机。是一个不得不让人佩服的AI教父。

           接下来，我们可以从以下（图片）时间轴了解人工智能的简史。后面着重讲述AI教母李飞飞。

        我们在前面（请查阅上两篇读书笔记）讲到李飞飞进入加州理工继续读研究生，在加州理工她也认识了她的男朋友也就是她未来的丈夫，是个意大利人，也是一位科学家。

        她在读硕博期间就已经开始做计算机视觉的相关研究了，经过大量的实验和阅读大量的文献，李飞飞发现，当前所有人都只看重模型和算法，把数据给忽略了，其实数据才是关键。没有强大的数据就没办法训练出强大的算法。那么数据和算法的关系，可以举一个简单的例子，可以把数据比做小孩子玩的玩具，如果一个小孩子玩过大量的各种各样的玩具，那么他的大脑的逻辑思维也就是算法是不是也会更厉害？

        2005年李飞飞博士毕业之后先在伊利诺伊大学当了一年多的助理教授，然后在2007年回到了普林斯顿大学当老师，她正式开始去做她一直想做的计算机视觉识别研究的大型数据库也就是ImageNet，那么ImageNet是什么东西，刚才提到了WordNet(见上图)，WordNet就是文字形式的数据集，可以把它理解成一本大字典。ImageNet顾名思义就是图像形式的数据集。可以把它理解成一本巨大的图片书。它有什么用呢？它就是一个用于计算机视觉识别研究的一个大数据库，怎么理解呢？我们可以用人的成长逻辑类比。小孩子很小的时候分不清猫狗、花草、车辆，正是靠日复一日看见成千上万张不同实物画面，慢慢分辨各类物体、建立对世界的认知。

       计算机视觉的学习逻辑和婴儿认知高度相似：机器本身没有天生的判断力，想要拥有识别图像的能力，就需要海量标准化图片素材做训练。

      ImageNet里面包含千万级标注好的真实图片，每一张都提前标注清楚图片里是什么物体。科研人员用这套数据训练AI 模型，机器反复读取、比对海量图像，就能自主学会区分猫和狗、飞机和汽车、花草与建筑，不断提升图像识别、物体分类的准确度。我们后来的这些人脸识别、自动驾驶、那些通过图片来搜索物体的这些功能最早就是建立在这个识别图片的基础之上的。

       那么这个ImageNet怎么去做呢？当时大家都在搞模型和算法，研究数据是很冷门的，李飞飞说她要做一个超级的大数据也就是ImageNet的时候，她所听到的劝阻之声已经多得够她一辈子用了。不过，幸运的是，她在普林斯顿大学遇到了第一个支持她的人，一位华裔叫李凯教授，这位教授给了她一个工作站，还给了她一个人才，一位叫邓嘉的研究生。这位研究生对她的这个项目还很感兴趣，于是他们两就开干了，这个项目规划了两万两千个类别，每个类别1000张图，一共2200万张，但这个是做好的成品的数量，要筛选出这个数量那么至少要先找到10亿张图，然后去掉那些不合格。所以这个工作量是巨大的，初步估计得干19年，后来邓嘉优化了这个下载图片的过程，也雇了一批本科生去做，结果也还是要18年才能完成。中途还被谷歌限制了号，不让他们同一个号每天下载那么多图片。就在陷入困境的时候，有一天有一位叫孙民的家伙，他是邓嘉的研究生同学，他听说了这个项目，于是他就找到了李飞飞，问李飞飞你听说过众包吗？就是可以把这个下载图片的任务发布在网上让全世界的网民都帮你下载，亚马逊就有这个服务。于是，李飞飞就按孙民这个提议去做了，效果很明显，终于这个预计完成的时间就从18年缩减到了2年，就在快要完成的时候，他们发现经费已经没有了。李飞飞只好到处去找资金。那么斯坦福大学看到了这个大数据库马上就要完工了，就跟李飞飞说，你们如果把科研团队搬过来我们这边的话资金就不是个问题。于是他们就立马搬去了斯坦福大学实验室。终于在2009年他们正式发布了ImageNet，但是发布之后几乎无人问津。这个项目就又遇到了僵局。

       后来有一位李飞飞的学弟，建议李飞飞用这个ImageNet搞一个算法竞赛，其实早在2005年就有一个叫Pascalvoc的就已经开始了这种大赛，不过他们是计算机视觉的一个基础数据，不像这个李飞飞的这个ImageNet这么庞大。李飞飞在做竞赛这方面没有什么经验于是她就去找到了这个pascalvoc的负责人，他们很nice很乐意帮助她，所以这个ImageNet算法竞赛就开始了。后来就是上面讲到的2012年辛顿团队的Alexnet在竞赛中获胜，一夜引爆了AI的飞速发展，开启了深度学习革命新时代。