夜雨聆风学习资料网

ARTICLE · 1152416

前英特尔 CEO:AI让设计缩到3个月,但物理世界仍要9个月

前英特尔 CEO:AI让设计缩到3个月,但物理世界仍要9个月

来源:a16z 播客《Former Intel CEO: Why This is the Best Time to Build Hardware》 

嘉宾:帕特·基辛格(Pat Gelsinger) 

主持:Raghu Raghuram、Guido Appenzeller 

编译:传播星球

01摘要

“在人工智能和数字时代,能源能力等同于经济能力。”帕特·基辛格在 a16z 的录音间里说出这句话时,语气不像在抛观点,更像在陈述一条物理定律。这位设计过英特尔 386 与 486 处理器、后来执掌英特尔与 VMware、如今以 Playground Global 普通合伙人身份重新投身早期投资的老兵,正试图把当下这股 AI 硬件狂热重新锚定到基础设施的硬现实里。

基辛格不是没经历过狂热。他 18 岁进英特尔,白天在斯坦福读学位,晚上参与定义现代 EDA(电子设计自动化)的雏形。对他而言,今天 AI 对芯片设计的改造似曾相识:当设计工具足够聪明,真正的瓶颈就会从“画出来”转移到“做出来”。他相信我们正站在一个硬件复兴的起点,但也警告:这场复兴的瓶颈不在芯片图纸上,而在晶圆厂、封装厂、内存、电网和机架里。

这场 53 分钟的对谈,表面主题是“为什么现在是做硬件最好的时机”,实际却在回答一个更尖锐的问题:当 AI 让设计变便宜之后,什么反而会变贵?

在人工智能和数字时代,能源能力等同于经济能力。

基辛格给“现在正是做硬件最好时机”加了一个重要脚注:机会确实存在,但机会不在画芯片图,而在解决设计之后那一长串更硬的物理问题。AI 让芯片设计变便宜了,却也让晶圆厂产能、先进封装、内存、电网、冷却和光学互联变得更稀缺。他整个职业生涯都在做这种“瓶颈搬家”的生意——从 486 到 AI 芯片,设计工具越强大,真正的较量就越靠近物理世界。这或许才是他想说的核心:硬件复兴不是因为它变简单了,而是因为它又变难了,而对于能搞定难的那部分人来说,这才是最好的时机。

02本文要点

1.设计变容易之后,瓶颈会“搬家”:基辛格把今天的 AI 芯片设计潮与 486 时代类比——当年没有 Verilog,英特尔自己发明硬件描述语言、写编译器,再和伯克利做出最早的自动布局布线,奠定了现代 EDA。如今 AI 工具让逻辑设计进一步加速,他甚至预测 Blackwell 会成为“AI 接管设计流程之前的最后一代”。但模拟和射频仍难被 AI 处理,因为缺硅数据;更关键的是,“只要你有技术让某件事变简单,瓶颈就会转移到别的地方”——三个月设计之后,还要三个月晶圆厂、三个月先进封装,再加机架级集成,九个月里 AI 世界早已变了样。

2.九个月的物理时间:流片、封装、机架交付才是真正的瓶颈。基辛格指出,大约 40% 的功耗余量被浪费在保护带(guard banding)上,因为现有工具缺乏三维功耗和热点的精确建模;芯片也不再以单颗交付,而是以整机架方案交付,计算瓦片、3D 封装、供电、散热、网络、软件栈必须同时跑通。此外,大规模 AI 芯片需要巨额资本、数据中心承诺和电力协议,只在一个工作负载区间占优而缺乏规模、生态和客户的设计,历史不会留太多空间。

3.HBM 是一种“糟糕的记忆”:基辛格说,“HBM 是一种糟糕的记忆,只是我们现在能拿到的最好的一个。” 它的比特密度差、边缘带宽受限、功耗和散热问题突出,而 DRAM 本就讨厌高温。更冷峻的是行业史:过去 30 年行业里见过近百种新内存尝试,真正重要的新内存却是零;但 AI 需求把三大内存厂商推上全球市值前 20,行业总市值四年涨了约 2.5 万亿美元,“30 年来首次真正的内存创新已经临近”。方向上他看好 2 到 4 层的“中高层”堆叠,不看好 16/32 层疯狂堆叠、纯光学分离内存和存内计算(PIM)。

4.能源能力即经济能力:基辛格说,“在人工智能和数字时代,能源能力等同于经济能力。” 美国过去 10 到 15 年关停煤电与新增可再生能源速度相当,总能源容量几乎停滞;现在 AI 需求让能源容量增速回升到约 4%,仍远远不够。他预言许多数据中心会因拿不到足够电力而违约,解法包括核能基荷、重振本土电力供应链、800 伏直流配电、GaN 功率转换、液冷与新材料——工程师正在变成“水管工”。

5.百颗 AI 芯片终将收敛:上百种 AI 推理加速器只是暂时现象,“历史上从未有哪个行业能长期容纳 100 家相互竞争的处理器供应商”。最终赢家需要规模、资本、客户,以及软硬件协同演化。AI 智能体确实能“一夜之间写出优化内核”,让短期异质性成为可能,但造一颗芯片仍需一年半才能规模化,资本和规模的力量会把市场压回少数几个平台。

6.从铜缆到光路交换,再到智能体虚拟机:基辛格 25 年前就宣称“铜已死”,在 AI 数据中心里铜缆正变成越来越短的波导,他预计光学 I/O 在 2028–2029 年成为主流;AI 工作负载的大流可预测,网络将从分组交换走向光路交换(OCS),scale-up 与 scale-out 的边界也会模糊。最后谈到虚拟化:VM 不会消失,但服务对象要从人类变成智能体,下一代虚拟化需要为智能体重建抽象层,人类只负责制定宪法和策略,智能体负责执行。

03完整访谈整理

拉古·拉古拉姆(主持)

在人工智能和数字时代,能源能力等同于经济能力。如果无法为它们提供足够的电力,我们为什么要建造新的数据中心、购买数百万块 GPU?你会看到越来越多数据中心项目出现违约。只要你有技术让事情变简单,就意味着瓶颈转移到了别的地方。现在早已不是芯片,而是机架。我花了三个月设计它,但距离真正用上它还有九个月。过去 30 年里,我们究竟有过多少次重要的全新内存?零。30 年来首次内存创新即将到来。大约 25 年前,我宣布铜已死,最终我的判断对我们所有做硬件的人来说都是正确的。

今天和我在一起的,是我们尊敬的客人、亲爱的朋友、也是我前老板,帕特·盖尔辛格(Pat Gelsinger)先生。欢迎你,帕特。

帕特·基辛格(嘉宾)

谢谢,拉古。很高兴能和你还有吉多(Guido)在一起,对我来说这里有点像老家,对吧?感觉就像我们把一年的变化叠在了一起。不过你俩长得太像了。我状态很好,我们开始吧——你可从没哪天停止过活力充沛。

拉古·拉古拉姆(主持)

不过我们还是先从你在英特尔的职业生涯说起吧。你大概在 18、19 岁加入英特尔?

帕特·基辛格(嘉宾)

是的,那真是一段充满魔力的时期。我 16 岁意外拿到奖学金,跳过了大学直接进技校。在我高中最后一年半,英特尔来招聘,我此前从没坐过飞机。面试官叫罗恩·史密斯,他后来写道,我是他当天第 12 个面试的人——如果你连续面了 12 个人,到最后就分不清男女了,对吧?他说,12 号房间那个人聪明、好斗、又傲气,很适合待在那儿。于是我受邀加入英特尔,一切从此变得美好。我最初是技术员,286 末期调入设计团队,是 386 的四位设计师之一、486 的建筑师和设计经理——这些工作都是在我读硕士期间完成的。所以这对我来说就是你能拥有的最好的职业:白天学习,晚上实践。

我还记得一位教授在课堂上提出了一种全新的超前进位加法器设计。我在斯坦福的一门课上讲到了 386 的进位前瞻加法器,就去试了试,两天后跟教授说这行不通。接下来两周,我和他在课堂上一直争论他的设计为什么行不通——他有一本要出版的书正用了那种设计,所以对他来说时间非常紧迫。我们当时的互动,我认为正是硅谷如此独特的原因之一:你带着自以为的真理而来,学生却告诉你,实际上并不完全是这样,下一节课你回来说,好的,我查过了,你是对的,那是过时的信息。

拉古·拉古拉姆(主持)

486 是你最大的成就,当然很多人参与了开发。你们在芯片设计上取得了一些突破。

帕特·基辛格(嘉宾)

那也是一段神奇的时期,因为它发生在人们想象之前,而且它成了现代 EDA(电子设计自动化)行业的一部分。386 的尾声里,486 才是真正第一代现代意义上的芯片。我们做了一层高层设计描述,但当时没有 Verilog,所以我们发明了英特尔硬件描述语言(HDL),我还亲手为它写了编译器。那时也没有自动布局布线,我们和伯克利的 Alberto Sangiovanni-Vincentelli 以及他的学生一起,做出了第一个路由、第一个自动化时序管理。所以某种意义上,是你把 EDA 发展成今天这个样子的?

没错,而且程度非常显著。486 不仅是兼容的流水线微处理器,我们还引领了现代 EDA 行业的许多基础。所以如果我们回头看今天,人们会不会像回望 Blackwell 那样说——这是 AI 接管设计流程之前完成的最后一代微处理器?我们现在是否也处于类似的转型期?

我认为这其中肯定有类似的因素。当你看到像 ChipNeMo 这样的东西,你可以说那是 AI 的第一性原理应用,在芯片设计流程里你会舍弃很多这类东西。但现在,从某种意义上说,有些设计仍然非常困难——很多模拟部分,比如射频,可能就是最好的例子,它们目前还无法被 AI 处理,因为要获得这些能力你需要大量的硅数据。所以要么你在模拟电路设计上变得非常保守,用 AI 来辅助;要么你就得用最笨的办法手工完成。但如今,许多逻辑功能确实可以通过 AI 工具和技术来实现,确实非常不可思议。你们的晶体管预算足够大了,设计工具越来越智能,现在有一些专家在指导这些工具。

我真的觉得它会有点像 486 那样——我们以后会回顾这段历史,然后说,没错,那是芯片设计新时代的开始。当你拥有让某件事变得简单的技术时,那就意味着瓶颈搬到了别的地方。我们现在能预测一下未来的瓶颈会在哪里吗?AI 似乎在某些方面非常擅长,比如创建软件层、编写内核。未来会遇到哪些困难?

拉古·拉古拉姆(主持)

我们做个思想实验。假设我和你、吉多一起研发一款很棒的新芯片,针对的是 2036 年、2046 年的 AI 工作负载,我们对 AI 的理解足够好,也知道如何正确表达乘法、累加和寄存器结构。如果我们放开 AI 工具,三个月内就能取得巨大成功,设计出一个很棒的方案,所有模拟元件都采取比较保守的做法。但接下来我们仍然面临几个非常严重的瓶颈。

帕特·基辛格(嘉宾)

首先,我们还有九个月的硅加工时间。好,那我能在三个月内设计出这个东西,但实际上九个月内都无法把它大规模地用到真正的硅片上。所以我们必须真正看到这个瓶颈得到改善。我喜欢验证和确认阶段——首先,我不可能在不到三个月的时间里从晶圆厂拿到任何东西,前提是我拥有那种超级强大的设计流程。然后我还要接触高级封装,3D 封装越来越复杂,大概还需要三个月。最后我还要把它放进机架级方案里,因为现在什么都不是芯片了,而是机架。是的,我们已经九个月了:我花了三个月设计好它,但距离真正开始使用它还有九个月。那么我们该如何压缩设计的这些方面?

我认为我们需要新的光刻技术来实现这一点,我们需要一种不需要在量产之前就投入 5000 万美元做掩膜的设计流程。所以对我来说,如何把那段时间压缩到一两个月?因为我现在可以在三个月内完成设计,为什么还要花一年半才能真正拥有规模和软件?等那时候,我对 AI 工作负载的理解可能早已不再适用了。我认为我们现在就能在经纪商(brokered)身上看到这种情况。从历史角度看,Graphcore 的设计其实并不差,但世界总算向前发展了,所有这些方面在某种程度上掩盖了一个事实——AI 让设计工作变简单了,但所有这些生产规模问题,对我来说会成为一个巨大的瓶颈。

当然,另一个瓶颈是内存,也就是内存带宽。正如我所描述的,HBM 是一段糟糕的记忆,只是我们能找到的最好的一个。我正想问你这件事呢——是的,那是一段糟糕的回忆:比特密度非常差,受限于边缘带宽和电力问题,还有散热问题,DRAM 芯片不喜欢高温。把所有东西集中在一个地方,把 AI 交给它真是太糟糕了,因为这是一个内存计算工作负载。所以我需要把这种发展和体现压缩到实际规模,我需要修复内存问题,这是我们需要攻克的另一个关键瓶颈。

还有功耗。目前的电力模拟技术大多存在缺陷,你没有好的三维建模工具来处理功率、功率耗散、热点。你本质上是在保护带(guard band)里运行,几乎耗掉了我的全部功率余量——我 40% 的功率都投入到了保护带中,所以我必须在功率建模方面大幅提升自己。还有,配送模式也需要改变,所有这些事情在我看来就是接下来几个大瓶颈。

吉多·阿彭策勒(主持)

所以即使这些设施完全部署完毕,我们仍然面临巨大挑战。我们见证了芯片数量和芯片架构的重生。感觉就像有上百个 AI 推理加速器芯片,而且我肯定我甚至都不认识它们所有人。那么,你们为什么要资助这么多项目呢?你自己也出资了你应尽的那一份。

帕特·基辛格(嘉宾)

这一切都归功于做出不同的设计假设——无论是你提到的那些部件,还是在周期曲线的某一部分他们瞄准的目标。那么,你认为这些东西都有容身之地吗?还是说我们生活在一个部分……的世界里?因为吉多谈到了 AI 工具,我们现在有能力建造更多不同种类的芯片。

历史上,从未有过一百家相互竞争的处理器供应商存在于任何行业。那么,未来会更加多元吗?我们拭目以待,看看这真的只是暂时现象吗?最终数量会收敛到少数几个。是的,我认为这只是暂时的,我预计它们最终会趋于一致。可能有三个不同的原因。

其中之一是你现在在计算环境里看到的那种正在出现的异质性——现在我有专门的预填充(prefill)和解码填充(decode fill),人们都在说我们需要专门划分层级。突然之间我的计算舰队在整个工作负载中变得越来越细致。我认为历史上任何时候出现这种情况都是不可持续的。然后当你看着那个,突然之间,当我研究推理模型时,我想要一个看起来更像 CPU 的东西。所以我大部分计算能力需要更多,还有模型和模型工作流程。我非常不喜欢这种极端的专业化,因为我认为工作负载还会继续增加。

第二点是,今天的模型即将经历一些进化上的突破。我觉得大数定律(LLN)有点接近极限了,现在人们都在思考如何真正进行三维建模——当涉及到分子和化学物质时,平坦的 LLN 方法就不太适用了。所以我会看到它的局限性,这将导致算法领域发生不同的变化。一些最有趣的工作任务会回到高性能计算(HPC)式的做法里,突然之间就有了 64 位配置,精度再次成为关键。

我举个例子:想象我的 AI 模型现在正在引出五个最有趣的领域,是为了进行化学分析,这些化学算法即将运行,精度很高,哪一部分会成为主导部分?工作负载很大。所以我认为,当我们优化 AI 系统时,它们会引导我们回到某些更传统的高性能计算事情上。这就是为什么我没看到所有这些 AI 芯片会越来越专业化是针对部分计算工作负载——未必是对的。

现在大概有上百个了吧?获得它们有很多种选择,还有概率性的等等,他们不可能全都赢,因为归根结底你必须在这些事情上达到规模,而规模化意味着你必须赢——你需要筹集资金,你必须给它分配工作负载。所以我觉得这有点违背逻辑,你会拥有上百个这样的东西。我会看到它们回来,因为很简单,资本市场份额会决定哪些是获胜队伍、优秀的设计、优秀的架构。所以行业整合是必然会发生的。

我还期望获胜者会选出一些赢家,比如一位 OpenAI 专家、一位英伟达专家、一位人类学家会说:我喜欢这个,因为它不仅仅是硬件,关键在于硬件和软件代码如何协同演进。所以确实需要投资软件,以及工作负载的演变来充分利用这些平台。

拉古·拉古拉姆(主持)

我基本上同意你的观点,让我再试着在这里挑起一点争议,只是为了取得一些有趣的进展。你不喜欢卷入争议吗?不,完全不是。所以很显然,100 家公司不可能进行整合——我完全同意。归根结底,大消费者在某种程度上会挑选出赢家。今天,我认为要成为一家一流的芯片初创公司,在某种程度上取决于你拥有多少和那些真正的大人物一起的牵引力。

还有一种观点认为,在任何过渡时期,你可能会遇到更剧烈的爆炸式不同方法。我认为你可以提出一个论点:从历史上看,我们通常的做法是一种或两种架构,因为不同的指令集很难实现,你必须构建多个编译器,软件的复杂性就体现在这里,规定你只能拥有一定数量的硬件平台。这部分似乎随着 AI 的发展而有所改变——如今,编写一个优化的内核,我的意思是,加州(Cerebras?)就是一个很好的例子,他们基本上是在说人类已经无法对这个系统进行真正的编程了,但智能体的表格一夜之间就能做到。所以如果你能制造具有某种能力的芯片,现在构建软件层要容易得多,结果是否可能是我们有再多一点异质性,因为编程很容易,这种异质性将持续下去?

帕特·基辛格(嘉宾)

它改变了一些方面,你知道瓶颈在哪里。但我指出的第一个瓶颈是,建造这些东西仍然需要一年半的时间。第二个瓶颈是,不仅需要一年半把这些东西放到货架和机架秤上,现在为了让它们发挥作用,我能不能借到 500 亿?你说的可不是小额资本支出,是数额巨大的资本支出,还有数据中心、电力需求。所以这将违背很多异质性原则。现在显然都是一些大玩家——我们从 Vidya 与 Grok 的合作中看到了这一点,这种异质性确实存在,但两年后你不会说出 Grok 在 Vidya 体内是什么,它只不过是另一艘船而已。所以你会看到这些架构,这有点像是在掩盖异质性,我的意思是,这就是抽象的意义所在,这就是封装一直以来所做的事情。但我认为那些力量非常强大,同时也暴露出很多异质性,它会被抽象化,归结于其中一些范畴之下。但归根结底,大规模建造这些东西仍然很困难。

拉古·拉古拉姆(主持)

你之前提到 HBM 是一种糟糕的内存,迄今为止这是我们目前拥有的最好的版本。但内存行业最讽刺的地方就在于此——我们记不清上一次存储器技术创新是什么时候了。你认为存储器创新即将到来吗?

帕特·基辛格(嘉宾)

我本人可能与此有关,至少包含五种不同的新型内存架构是作为其中之一获得的,这件事最终也没能公之于众,我大概熟悉近百种过去 30 年里业内发生过的尝试。究竟有多少新的重大内存,过去 30 年里我们经历了什么?零。 也就是 DRAM、SRAM、闪存,还有呢?所以我认为,我们尚未创造出下一代物理学,能够实现低成本、高性能、有弹性、可制造性的存储器。过去三四十年里,存储行业是个糟糕的行业,因为你一年就能赚钱,接下来四个月你就会赔钱,所以让我们去某个行业做研发吧,这样五年里只有一年能赚钱,一直以来这都太难了,因为它是由如此暴力的商品化周期驱动的。

不过最近情况略有变化。过去五年里?真是好日子啊!这三家都是大型内存供应商,跻身全球最有价值的 20 家公司之列,这变化太大了。任何关注 AI 工作负载的人都知道,预测过去很容易,预测未来有点难。人工智能是其内部的一种记忆,所以这里存在资本的组合,以及能够推动存储器创新发展的技术需求。有两个领域让我感到兴奋,其中之一就是这个想法:我确实认为边缘带宽限制是主要问题,HBM 是一个根本性问题。

我们有一家公司叫 Dmatrix 就是做这个的,但我认为其他人也会这么想。无论是 Sarabrish 及其技术,未来一片光明。你必须想办法把内存和计算能力结合起来,以及全新的根本结构。我认为 AI 领域已有此类资本被用于攻击它,我们最终能够取得突破。我也刚刚投资了一家新的存储器公司,这项技术目前仍处于秘密研发阶段,我对其中一些创新感到非常兴奋。你将会看到用于存储的新材料,很多人都在研究铁电材料之类的东西,寻找非电容式高密度存储器、高性能且可堆叠的存储器。

我相信,而且我认为内存技术创新即将到来,30 年来首次。 而且我认为那将是一个令人兴奋的领域。真是不可思议,区区几百亿美元就能带来这么多,市值能达到 1 万亿美元——我觉得存储器行业市值现已增长 2.5 万亿美元,过去四年来的美元数额。是的,我刚刚在那里投资了。

拉古·拉古拉姆(主持)

关于堆叠部分,我再补充一点:如果让你预测我们的芯片会以多快的速度长高?我们要去两个地方,还是坐在那里一会儿?那种 16 层夹心饼干,逻辑存储器和 SRAM 可以完美地融合在一起。但您认为这种情况会如何发展?

帕特·基辛格(嘉宾)

堆叠的问题在于,它基本上就是堆栈的价值,随着维度升高,这种变化会越来越大。堆叠层的良率,任何单层的良率,在堆叠过程中必须不断进行,它本质上不可能线性增长,必须呈指数级增长。当你拥有 8 到 16 层高筹码时,做数学计算就会发现它非常非常难,你的生产流程必须近乎完美。假设你确实在这样做,你仍然需要产量非常高——如果我有一个裂缝模具,我不在乎你给它建立了多强的韧性,你不能这么做,这是个坏骰子。所以我不是那种疯狂的 16 层、32 层玩家,我认为会出现漂亮的三层、四层、五层堆叠,那最终就成了最佳平衡点,也就是中高层堆叠。

即使在那里,假设我现在有了一个很棒的计算单元,那块瓷砖需要多大?现在一切都受限于瞄准镜了,我可以再去吃点薯片吗?更好的产量特性、更好的热性能。我想要一个关于它的内存堆栈信息,它是双栈内存还是四栈内存?我不认为它会变成八栈内存,对我来说大概是两到四个。但这之后,电力输送就需要融入其中,我想要在 Z 轴方向把电源轨也接入这里,然后我需要一些相当智能的 RDL 层来分发信号。所以我认为这真是一项工程壮举,将所有这些部件组装起来简直是一场制造噩梦,但随着时间的推移,物理学正将我们引向那个方向。

他没有谈到散热问题以及为此所需的新材料。有些事你不能接受今天所关注的物理热点,所以你必须更聪明地利用热量和传播热量。我该如何同时获得电力并将能量从这些环境中散发出去?我想要更好的电压调节器功率响应速度,这样就不会产生那么多热烟囱了。新材料也扮演着角色,人们推测钻石和其他东西可能与此有关,如何做得更好的液冷技术。我们工程师都快变成水管工了,对吧?

吉多·阿彭策勒(主持)

正如一些人所说,咱们把内存从封装里取出来,计算和内存之间完全采用光纤连接,这将赋予你更大的自由度以及更多建造方式。你觉得这种方式和堆叠方式相比如何?

帕特·基辛格(嘉宾)

那是另一个极端。越是 OEO(光电接口),你要求的越多,在你的核心计算复合体里,对我来说这确实很难,而且这样做总会伴随着损失——你到底浪费了多少电力,当我进行 DAX 和转换时?所以我不喜欢那些东西,因为我认为它能让你获得给大容量内存池用的自由度,但是我到达那里会消耗很多能量。我的每计算单位的飞焦耳数现在非常不错,但每比特通信的飞焦耳数相比之下要糟糕一千倍。所以我并不喜欢这些方法,我认为它们在某种程度上违背了该解决方案背后的物理原理。

另一种方法是,我们真的能整合吗,直接进行计算和内存操作,将部分计算转移到内存中,就是一些 PIM(存内计算)方法。我也不喜欢那些,因为现在我必须承担工作负载,把小的计算单元推入内存,这样就限制了工作负载。大多数 PIM 理念已经存在 25 到 30 年,我认为 25、30 年后我们还会继续待在这里。给我强大的内存带宽、高密度高性能的产品,并使其接近真正的计算引擎,我预计这将是一个更具普适性的解决方案,能应对各种不断变化的工作负载。

拉古·拉古拉姆(主持)

我可是你的铁杆粉丝,把你所有的 I/O 功能迁移到光学器件。你大约在 25 年前就宣布了铜的死亡,最终你会是对的。但你觉得,所有 I/O 都应该采用光纤,而那个核心计算内存复合体不,对吧?那么,何时才是进行光学检查的第一步?

帕特·基辛格(嘉宾)

我认为我们现在正在看到这一点。在我们的大规模生产环境中,我们正在使用大量的铜,铜正在成为一种波导材料,时间越来越短了。突然之间,为了让我的铜在五米内比做光学加工更贵——没错,一百米处也是。所以正是物理学在推动我们走到今天这一步。但为什么我们还没搬到那里去?这是一个复杂的供应链,从未进行过大规模测试。而我觉得现在大家都在关注某种形式的非营利组织、合作组织,在 2028、2029 年那段时间,因为我无法扩展到大基数,来自我的扩展环境的计算集群无需采取那种行动。

NVIDIA 已经表明了这一点,我认为业内其他人都期望如此。说实话,我根本就不应该制造那种东西,它简直是个工程奇迹,也是制造业的噩梦,需要整个行业的努力,还需要额外一年半的时间来消化。但如果拥有更成熟的光学供应链,如果放在今天,我们肯定会比现在先进得多,能构建出更可扩展、动力更强、成本更低的环境。所以我们精力更充沛了,但光学供应链还不够成熟,这些问题并非易于解决,还有很多工作要做,但我认为 2028、2029 年就是那个转折年。

拉古·拉古拉姆(主持)

就网络架构而言,这是否也意味着会进行某种形式的转换?还有什么比电路交换网络更复杂,因为你无法规模化?

帕特·基辛格(嘉宾)

我喜欢尼克·麦基翁(Nick McKeown),他是斯坦福的教授,也是我的好朋友。我们建立了网络,能够处理任何发往任何地方的数据包,完全不知道它会去哪里。但当你想到人工智能时,情况几乎正好相反——我们处理的是规模庞大且可预测的流程。正如描述本身所说,它看起来更像一个交换机,而不是一个数据包。所以这种向光学领域过渡的趋势,加上可预测得多、更容易管理的大而流畅的工作负载,会一路走到最后:将光学技术引入计算复合体,我们会一路走到光路交换(OCS),对于某种形式的光开关,流量会更加可预测,那才是正确的架构风格。

然后你就会问,这是向上扩展(scale-up)还是向外扩展(scale-out)?如果我的规模扩大得足够大,它在某种程度上模糊了那里的界限。从系统架构角度看,它达到了同样的目的,口味略有不同,协议随时间略有不同,但最终会趋于一致。尤其对于 AI 训练工作负载,训练和推理实际上看起来非常相似。我认为训练与推理的分离以后这种情况会越来越少,因为我认为持续学习会出现,算法会需要我的推理环境更新模型权重。

另外,智能体会负责所有升级工作,所以车队管理工作完成了,一切都变得轻松了。所以,我们讨论了计算、内存、人脉关系,其次是权力(电力)。这里讲到基本原理,我们国家做得非常糟糕——它的能量容量,基本上我们经历了 10 到 15 年的时间,把煤炭撤离到离线状态,按照增加可再生能源的速度,整个国家基本上陷入了停滞状态,就整体能源容量而言并不理想。因为在人工智能和数字时代,能源产能等于经济产能。

所以从一个国家的经济能力来说,如果你接受这个论点,那么房价将保持 15 年不变——我认为这是很容易证明的。在过去的五年里,我们已经看到了巨大的涌入,只是为了给我提供更多容量,但即便如此,我们或许只增加了能源产能每年约 4%。情况很糟糕,所以我们需要更多的能源供应能力。首先,我们有一些公司在那个空间里,我们讨论了核电运行作为基荷,这是一件非常棒的事情。不幸的是,我们所有的可再生能源对中国有着很深的依赖性,燃气轮机交付周期现在才过了八年,所以我们确实面临着一个艰难的环境。

为什么要新建数据中心,然后买下那一百万块 GPU,如果我无法给它们供电?我认为你会看到越来越多的违约,许多数据中心项目都面临这种情况,因为能量是存在的。你觉得这将是一次意义重大的冲刺?我觉得会是头对头(瓶颈相抵),我想你已经开始看到了一些最早的迹象,Oracle 的评论就是第一个,你会看到很多东西。但这并不意味着我们会因此放慢脚步,但我认为人们会开始问:我真的有精力吗?为了担保我所作出的资本承诺,用于数据中心机架的水泥以及 GPU 采购。所以这会是一个上限,我们需要更大的能源容量,需要在这方面引入更多创新,需要在美国建立更多这样的供应链。核能是我最喜欢的领域之一。

最后一个核反应堆在美国上线服务已经是 20 年前的事了,我们刚刚停下来,这是一个非常有潜力的行业。我们需要大幅提高配送效率,电力网络要过渡到 800 伏直流电 数据中心——爱迪生的复仇即将到来,对吧?我们需要更好的电力转换效率,我们有几家公司,其中一种是垂直方向的氮化镓(GaN),那是杀手级技术,能够做到 800 比 48 或 800 比 12,或者甚至一步转换就能将 800 转换成 5,这会让你精力更加充沛。固态变压器、开关之类的东西,就是重建输电网络,我觉得那会有很多创新。现在功率又流行起来了。

冷却系统也是如此,涡轮机、制冷剂,突然之间又出现了令人兴奋的新技术。对于我们搞硬件的人来说,就像文艺复兴就在我们眼前上演。25 年后,我不得不回去阅读有关卡诺(Carnot)效率及其定律的资料,热力学第一定律是如何运作的,我想物理学或许真的起了作用。每太拉浮点运算功率在过去五代英伟达芯片中呈直线,这可不是什么好事。我们有一家超导公司,它提供了从根本上改变物理学的机会,动力性能提升了千倍,所以我认为其中一些创新已经到来。

拉古·拉古拉姆(主持)

过去一个小时我们还有很多话题没覆盖,但我们必须至少买一件再走。现在,虚拟机又回来了,你对此有何看法?VMware 药房?

帕特·基辛格(嘉宾)

我觉得自己被排除在这场对话之外——不,不,我只是想,最后几段视频我还打算谈谈人脉拓展。每一项创新都必然会引向下一个抽象概念,无论是数据结构、算法,还是一种抽象,我们又回到了那些基础性的东西上。虚拟机抽象层,无论是从基础设施层面还是应用层面,我认为它仍然是一个基础性的抽象模型,在计算层次结构中理应永远占有一席之地。

在人工智能领域,我们想想这些智能体群——谁来管理这些智能体?谁来创建安全配置文件?谁来管理代理商的绩效? 我认为每一个基本要素,虚拟化和管理都需要重新构建在下一个计算层次结构中。当年我们在 VMware 所做的一件事,本质上是管理计算层次结构的各个方面,你还要管理好工作负载、网络、存储系统,你如何将这些概念抽象出来?

拉古·拉古拉姆(主持)

你想以人脉拓展作为结尾吗?我倒想再多待一会儿虚拟机。对我来说最有趣的是,我们现在正在构建虚拟机,以便智能体可以使用它们,与人类可利用的用途不同。这会极大地改变你的营销方式,你想让智能体替你做决定,这会极大地改变你能拥有的复杂程度,改变启动速度——人类比智能体更有耐心。

帕特·基辛格(嘉宾)

如果你今天必须重建 VMware,会有什么不同?我认为 VMware 就是为智能体(agent)服务的。是否需要为人类代理开发 VMware 虚拟机?从某种意义上说,我需要人类——我们还是坚持和智能体合作吧,它们现在比这有趣得多。但我确实认为需要有,我会采用达里奥(Dario,指 Anthropic 的「宪法」理念)的宪法,或者说是护栏,能够制定政策。然后你就会真的说,虚拟机的各个方面,我们知道今天我们会喜欢它,是服务于智能体的,与维修硬件和维修人员不同。

这便成为你的基本设计约束:我该如何培养优秀的智能体?我该如何确保它们的安全?如何提高它们的性能?我该如何将它们抽象化、如何迁移它们?这里将为他们提供新的实现方式。但我还需要考虑,人类怎么能制定政策、描述宪法、获取仪表盘——这有点像有趣的地方在哪里,因为这两件事你都需要做,不仅仅是其中之一。我们之前做的那些硬性设计工作,虚拟机是相关的,以高效的方式抽象硬件,这里指的是应用程序或操作系统——这是对硬件的抽象化,以及智能体的操作,这是你所服务的根本性事物。

拉古·拉古拉姆(主持)

非常感谢帕特的到来,我们还会再做一次。

帕特·基辛格(嘉宾)

他们俩一直是我最喜欢的人。好的,谢谢。太棒了,谢谢。谢谢。

本文编译自a16z播客《Former Intel CEO: Why This is the Best Time to Build Hardware》,观点属于受访嘉宾,仅供信息参考,不构成任何投资建议。

相关学习资料