为什么现在的电脑对AI来说太慢了?

导读：

AI在高风险场景中对算力的需求，远超现有计算机在合理能耗下的极限，如何填补这一差距，是当今科学家与工程师面临的最严峻挑战之一。

人工智能曾经在科幻电影中，负责给宇宙飞船导航，操纵火箭着陆。如今，它早就不是什么新鲜事，而是润物细无声地渗透到我们的日常生活中。你听歌、看视频，它给你推荐；你出国旅行，它帮你翻译；你写作业遇到难题，它还能搭把手。没错，这些背后都有AI的影子。

不过，科学家们还想让AI干更厉害的活儿，比如让汽车自己在大街上跑、帮医生看懂医学影像、或者在灾难现场操控救援无人机。可问题是，现在的电脑天生就不是为这种“边学边干、需要实时反应”的任务设计的。在上述几种的场景下，AI系统得看到的同时进行规划、然后几乎瞬间完成行动，根本没时间等一个慢吞吞的电脑来反应。现在电脑大多本是用看视频、写文档、浏览网页、或者进行表格汇总等任务的，这些活不需要AI任务所要求的算力。AI需要高速处理海量数据，并且一边学、一边做现场决策，还要一直不停地这么干。AI在紧要关头要发挥功能所需要的算力，和目前电脑在不耗费太多电的情况下能做到任务的差距，是当今科学家和工程师面临的最大挑战之一[1]。

SAIXIANSHENG

为什么现在的电脑对AI来说太慢了

要搞懂这个问题，咱们先来看看现在的电脑是怎么组织的。每台电脑都有两个主要“部分”：硬件和软件。硬件就是看得见摸得着的机器，包括芯片、电路、线缆这些。软件就是一套指令，告诉硬件该做什么、什么时候做，不管是运行游戏、编辑照片，还是发短信。人们想到AI的时候，往往关注的是软件，比如那些翻译语言或者识别图像的程序。但软件性能其实会受硬件限制，因为电脑里面实实在在的芯片和电路，决定了这些程序能跑多快、多省电。

那硬件为什么会拖慢速度呢？典型的电脑硬件有两个主要部件：一个负责存信息，叫“内存”；另一个负责执行指令、做计算，叫“处理器”。每次处理器需要一条信息，都得先从内存里把它取过来，然后才能进行处理（图1A）。你可以这么想：就像你做数学作业，计算器就在数学教室的桌子上，可你算数需要的数据却在大厅对面的图书馆里。每次你需要几个数字，就得停下笔、跑到图书馆、把数据带回来。这样来回折腾，不仅慢，还特别费劲（图1B）。

图1A：电脑硬件有两个主要部分：内存用来存信息；处理器负责做计算。在普通的电脑里，处理器每执行一条指令，都要先从内存里把信息取过来。这被称为“存储墙”问题，它会让传统电脑跑AI程序时变得太慢。

图1B：“存储墙”问题就像你在书桌前做数学作业，可每次需要一条信息，都得跑到大厅对面的图书馆去取，这么一来你不仅慢下来，还累得够呛。

大多数日常电脑任务每次只需要搬动少量数据，但AI对硬件的要求要高得多。AI系统里包含几百万甚至几十亿条信息，而且这些信息必须一遍一遍地来回检查，才能找出规律或者做出决定。数据在内存和处理器之间不停地来回搬运，就会让AI程序的运行严重变慢。研究人员把这个问题叫做“存储墙”问题，即因为数据在内存和处理器之间来回折腾，导致电脑变慢、既浪费时间又消耗很多电[2]，当AI需要在现实世界里快速反应的时候，无论电力还是时间可是一点儿都浪费不起的。

还有一个重要因素，就是每存一条信息要用掉多少内存。电脑通常会给每条信息同样大小的数字空间，就像不管你的东西多小，都发给你同样大的一个箱子。这样会浪费内存，也会拖慢AI的速度。

SAIXIANSHENG

向大脑学习

对于算力和内存管理，人脑要比我们今天能造出来的任何电脑都高效得多。科学家们现在正试着向大脑“取经”，想办法突破“存储墙”。大脑里有一种叫“神经元”的细胞，负责接收来自外界和身体的各种信号，比如看到的画面、听到的声音、摸到的触感、身体的运动，甚至包括记忆。神经元在处理这些事情上特别厉害。跟传统的处理器相比，大脑的神经元有三个很大的特点。

第一，神经元既能存信息，又能处理信息。每个神经元都会从其他神经元那里接收微小的电信号或化学信号。它把这些进来的信号加在一起，判断一下这个信息够不够强、值不值得传下去。如果够强，它就会自己发出信号，传给其他神经元。同时，神经元还能通过增强或减弱自己和其他神经元之间的连接来储存信息，这种连接叫做“突触”。这意味着，一个神经元可以一边处理信号，一边存记忆，完全不需要像传统电脑硬件那样把数据来回搬运。这种高效的信息表示和处理方式，既节省内存，又能让信息传得更快。

第二，神经元会组成灵活的网络，这个网络可以改变、可以学习（图2A）。大脑的强大之处在于几十亿个神经元一起工作。单独一个神经元干不了什么大事，但一大群神经元组成的网络，可以认出朋友的脸、听懂人说话、或者计划一个动作。这些网络会不断变化，神经元之间的连接有时变强、有时变弱。大脑就是这样通过经验来学习的。相比之下，传统的电脑电路可没办法自己改变连接。

图2 A大脑中的神经元会组织成网络，这些网络能根据彼此之间连接的强弱，既存储信息又处理信息。神经元之间的连接，数量和强度都可以改变，大脑就是这样通过经验来学习的。神经元还只在有必要的时候才发送“脉冲”信号来交流，这样很省能量。

图2 B为了突破“存储墙”问题，让AI系统跑得更快、更省电，工程师们正试着设计更快的电脑硬件，这种硬件叫作“神经形态芯片”，它由一些连在一起的单元组成，这些单元把内存和处理功能合二为一，拥有像大脑一样灵活可变的连接，并且采用基于脉冲的计算方式。

第三，神经元只在需要的时候才发送信号。不像今天的电脑芯片那样不停地传输信息，神经元只有在需要传递重要信息的时候，才会发出快速的、爆发式的电信号，即“脉冲”。脉冲就像一个短促的“叮”声，意思是“注意啦！”这种“走走停停”的交流方式，既省下了大量能量，又能让大脑对外界快速做出反应。计算机科学家在尝试把这种思路复制到机器里时，称其为“基于脉冲的计算”。

这三个特点加在一起，让大脑既强大又省电。工程师们希望，通过借鉴其中一些策略，让他们能设计出处理AI任务更快、耗电少得多的电脑硬件。与此同时，计算机科学家和软件工程师也需要开发新的软件，好让这些新的硬件方案能充分发挥潜力。

SAIXIANSHENG

受大脑启发的计算：打造更智能的硬件

朝着“受大脑启发计算”迈进的一步，就是“存算一体”（CiM）。存算一体是一种新技术，它的灵感来自大脑神经元的第一个关键特性：在同一块物理硬件里，同时进行信息存储和处理[3, 4]。不像今天的芯片那样把存储和计算分开，存算一体芯片被设计成可以在数据存放的地方，直接做简单的计算，比如加法或乘法。这就有点像神经元既存信息又处理信息。套用前面做数学作业的比喻，存算一体就像把你的计算器搬进图书馆里，这样你就可以在查数字的同时直接运算，不用来回跑了。通过省掉那些额外的数据传输，存算一体芯片能让AI系统变得更快、更省电。

“神经形态芯片”则更进一步[5]。“neuromorphic”这个词的意思是“形状像大脑的”。这些芯片由许多微小的单元组成，这些单元就像是大脑神经元和突触的简化版（图2B）。每个单元都能发送和接收信号，能调节自己与其他单元之间连接的强弱，并且只在有新信息到来时才用短促的爆发式活动（脉冲）来交流，每个单元与脑细胞的工作方式很相似。把几千甚至几百万个这样的单元连在一起，就形成了一个网络。神经形态芯片上运行的网络可以从数据模式中学习，并适应新情况。研究人员还在创建“脉冲神经网络”（SNNs），这是一种特殊的AI程序，专门为匹配这种硬件而设计[6, 7]。和普通计算那种用连续信号处理信息的方式不同，脉冲神经网络从初始设计起，就是通过脉冲开展工作。这种硬件和软件同步优化，就可以实时解决问题，比如在图像、语音或动作发生的同时就以比今天的芯片省电得多的方式进行识别。

这些受大脑启发的芯片还用了一种叫“量化”的技术，即把数据存成更简单、更小的碎片，这样电脑就能跑得更快，同时又不会丢掉重要的细节。量化减少了内存需求，加快了处理速度，而精度的损失只是很小一点。存算一体、神经形态设计和量化这三者加在一起，就造出了更智能的硬件，运行速度更快、效率更高。

无论是存算一体还是神经形态芯片，目前都还处在研究阶段。存算一体可能更接近实际应用，而神经形态芯片代表了一个更长远的目标，有朝一日或许能实现像大脑一样的计算。但这两者都表明，从生物学中学到的东西能帮我们设计出能适配更强AI算法的电脑。训练今天最先进的AI系统，消耗的电量可能相当于几百户家庭的一年用电量（译者注：这个数字是文章发表的25年12月的估计，现在更高），而这还不包括全球数据中心正在为每一次AI对话持续消耗的巨额电力。如果能降低能源需求，就能让AI变得更实用，也能减少它对地球气候的负面影响。研究人员把存算一体与神经形态芯片上的进展看作是迈向所谓“融合平台”的中间步骤。融合平台指的是一种单一的电脑硬件，既能运行今天那些消耗海量数据的AI系统，也能支持未来那些像大脑一样的AI程序。

SAIXIANSHENG

未来行动中更智能的硬件

想象一下，地震之后，一架救援无人机飞进一栋坍塌的建筑里：每一秒都很关键。无人机上搭载的AI可能经过了专门训练，可以飞进那些对人类来说太危险或太狭小的地方，为救援人员绘制安全路线，甚至通过扫描热源或声音来定位被困的幸存者[8]。要成功完成任务，AI必须实时处理来自摄像头和传感器的信息，做出往哪儿飞的决策，并且不停地移动，不能耽搁（图3）。如果它搭载的电脑被“存储墙”堵在那里，花太多时间搬运数据，无人机就可能撞上废墟、错过幸存者的迹象，或者在分秒必争的关键时刻无法引导救援人员。

图3：一架由AI驱动的救援无人机，必须极其快速地处理来自传感器的信息，这样才能在分秒必争的震后，精准地穿过危险的地方（比如坍塌的建筑）。

像存算一体和神经形态芯片这类新硬件方案，再加上脉冲神经网络等神经形态软件，不仅能让无人机震后救援这种生死攸关的任务成为可能，对很多其他用途也有帮助。手机和笔记本电脑不用发烫、不用老充电，也能跑起厉害的AI应用。自动驾驶汽车能瞬间对路上的危险做出反应。医疗设备可以实时处理来自身体的信号，帮医生快速发现问题。而那些支撑着全球大部分计算能力的大型数据中心，也能用少得多的电来运行。虽然这些设计主要是为了支持AI而开发的，但它们同样也能让很多日常的计算任务变得更快、更省电。

SAIXIANSHENG

前方的路

随着AI在我们这个世界里变得越来越重要，电脑需要做到处理信息准确、快速、而且不浪费电。现在的硬件在这个任务上挺吃力的，原因就是“存储墙”问题。数据在内存和处理器之间来回跑的时间太长了。为了解决这个问题，研究人员正在重新思考电脑应该怎么造。存算一体芯片把数据就存在用到它的地方，神经形态系统则从大脑的神经元网络里取经。这两种方法的目标都是减少电力消耗，让AI能在要求更苛刻的新场景下工作。

这些技术大多还处在研究阶段，科学家和工程师们面临着很多棘手的问题：怎么把存算一体或神经形态芯片造得可靠、做得足够小且便宜到能放进日常设备里、并且证明它们能扛住现代计算的巨大需求。不过，硬件和软件两方面都在取得进展。

如果这些研究者成功了，那么今天限制电脑的那堵“存储墙”就可能成为历史。那将意味着，从应急救援到医疗，再到日常科技产品，AI系统会变得更快、更省电。同时，随着AI在我们的世界里占据越来越大的比重，从大脑中借鉴的思路也能减轻计算带来的能耗，帮助保护地球不断变化的气候。

参考文献：

[1] Horowitz, M. 2014. “1.1 Computing’s energy problem (and what we can do about it)”, in IEEE International Solid-State Circuits Conference Digest of Technical Papers (ISSCC), (San Francisco, CA: IEEE).

[2] Wulf, W. A., and McKee, S. A. 1995. Hitting the memory wall: implications of the obvious. ACM SIGARCH Comput Archit News. 23:10–20. doi: 10.1145/216585.21658

[3] Chang, M., Lele, A. S., Spetalnick, S. D., Crafton, B., Konno, S., and Wan, Z. 2023. “A 73.53 TOPS/W 14.74 TOPS heterogeneous RRAM in-memory and SRAM near-memory SoC for hybrid frame and event-based target tracking”, in IEEE International Solid-State Circuits Conference (ISSCC), (San Francisco, CA: IEEE), 426–8.

[4] Agrawal, A., Ali, M., Koo, M., Rathi, N., Jaiswal, A., and Roy, K. 2021. IMPULSE: a 65-nm digital compute-in-memory macro with fused weights and membrane potential for spike-based sequential learning tasks. IEEE Solid State Circuits Lett. 4:137–40. doi: 10.1109/LSSC.2021.3092727

[5] Davies, M., Srinivasa, N., Lin, T.-H., Chinya, G., Cao, Y., Choday, S. H., et al. 2018. Loihi: a neuromorphic manycore processor with on-chip learning. IEEE Micro 38:82–99. doi: 10.1109/MM.2018.112130359

[6] Roy, K., Jaiswal, A., and Panda, P. 2019. Towards spike-based machine intelligence with neuromorphic computing. Nature 575:607–17. doi: 10.1038/s41586-019-1677-2

[7] Kosta, A. K., and Roy, K. 2023. “Adaptive-spikenet: event-based optical flow estimation using spiking neural networks with learnable neuronal dynamics”, in IEEE International Conference on Robotics and Automation (ICRA), (London, United Kingdom: IEEE).

[8] Wan, Z., Qian, J., Du, Y., Jabbour, J., Du, Y., Zhao, Y., et al. 2025. Generative AI in Embodied Systems: System-Level Analysis of Performance, Efficiency and Scalability. 26–37. doi: 10.1109/ISPASS64960.2025.00013

专业术语释义：

内存墙问题：计算机因数据在内存与处理器之间持续移动而导致的性能下降，既浪费时间又浪费能源。

神经元：一种脑细胞，负责接收信号、处理信号，并向其他神经元发送信号，同时在其连接中存储信息。

突触：两个神经元之间的连接点，通过改变连接强度来存储和传递信息。

存算一体：一种能够在同一位置同时存储和处理信息的计算机芯片，可减少能源浪费并加速程序执行。

类脑芯片（神经形态芯片）：由大量类似神经元和突触的小单元构成的计算机芯片，这些单元发放脉冲并形成能够进行学习并自适应的网络。

脉冲神经网络：一种特殊的人工智能程序，通过短促的爆发式活动（即脉冲）进行通信，类似于大脑神经元发送信号的方式。

量化：一种将数据以更简单、更小的片段进行存储的技术，可降低内存使用并提高计算机处理效率。

来源：赛先生

编辑：冰糕

转载内容仅代表作者观点

不代表中科院物理所立场