乐于分享
好东西不私藏

AI 芯片越堆越多,真正难的是怎么把它们连起来

AI 芯片越堆越多,真正难的是怎么把它们连起来

副标题:HBM、CPO 和下一代 AI 服务器的互连难题

AI 服务器正在变得越来越像一座拥挤的城市。

里面有更多计算芯片、更大的内存、更快的交换芯片,还有越来越密集的电源和散热系统。问题是,芯片并不是堆在一起就能自动协同工作。它们之间还要交换数据,而且要交换得足够快、足够省电、足够稳定。

所以,AI 芯片的下一场竞争,可能不只是“谁的芯片更强”,而是“这么多芯片,究竟怎么连起来”。

这不是某一家公司的单点判断。Intel Foundry 在 ECTC 2026 展示了更大规模的先进封装,NVIDIA 从 AI 数据中心网络的功耗和可靠性解释了为什么电连接正在接近极限,GlobalFoundries、Lightmatter 和 Coherent 则分别从制造平台、开放参考架构和多种光学路线,展示了 CPO 走向规模化时还要补上的几块拼图。

Intel Foundry

负责先进封装和代工技术研发;本文引用其 ECTC 2026 材料来说明大尺寸多芯片封装的扩展边界。

NVIDIA

AI 计算和数据中心网络厂商;本文引用其工程博客来说明高速电连接的损耗、功耗和可靠性问题。

GlobalFoundries

半导体制造商;本文引用其 SCALE CPO 发布来观察光学平台如何同时处理制造、测试和服务性。

Lightmatter

专注 AI 数据中心光互连的公司;本文引用其 OCP 倡议来说明 CPO 的互操作和标准化问题。

Coherent

光子器件和光通信厂商;本文引用其 OFC 2026 展示来说明 CPO 仍存在多种架构路线。

芯片变多之后,距离本身就成了问题

过去我们谈 AI 芯片,最容易想到的是算力:一颗芯片能做多少计算,一台服务器能放多少颗 GPU。

但在训练和运行大模型时,芯片需要不断交换参数和中间结果。计算芯片和高带宽内存 HBM 之间的距离,交换芯片和服务器之间的距离,都会影响速度和功耗。

HBM(High Bandwidth Memory,高带宽内存)

一种把多层内存芯片垂直堆叠、并尽量靠近计算芯片的设计,用更短的路径换取更高的数据带宽。

芯片之间的连接不是一根免费的“数据管道”。电信号在更高速度下会产生损耗,需要更复杂的补偿和更强的信号处理;线路越长,功耗和散热越难控制;连接点越多,故障点也越多。

NVIDIA 在介绍下一代 AI 网络时给出了一个很直观的对比:传统可插拔光模块的信号,要从交换芯片经过电路板、连接器,再到外部光模块,200Gbps 通道的电损耗最高可达 22 dB,每个接口的功耗可能达到约 30W。

如果把光电转换直接放到交换芯片旁边,电连接路径可以缩短,损耗也可以下降。NVIDIA 给出的 CPO 方案中,电损耗可降到约 4 dB,功耗最低约 9W。

这不是把一个零件换成另一个零件那么简单。它是在重新安排数据经过的路径。

HBM 解决了“靠近计算”,但没有解决所有连接

Intel 在 2026 年 ECTC 上展示的 EMIB-T,是一个典型例子。

它使用嵌入式硅桥和 TSV,把多个计算芯片、内存和供电路径组织在一个更大的封装里。Intel 公布的技术指标包括 25 微米的互连凸点间距、最大 120×120 毫米的封装尺寸,以及在一个封装中集成超过 9 个光刻版尺寸的计算和内存硅片。

这类技术的意义,不只是“把芯片放得更近”。它试图让一个由多个芯片组成的系统,在外部表现得像一颗更大的芯片。

但“封装内靠近”只是第一层问题。

当数据需要从一个封装走到另一个封装、从一个机架走到另一个机架,电连接的距离又会变长。于是,AI 系统出现了一个新的分层:

  • HBM 负责把内存尽量靠近计算;
  • 先进封装负责把多个芯片组织在一起;
  • PCB、基板和连接器负责把封装接到系统;
  • 光互连负责把数据送到更远的交换节点;
  • 电源和散热系统负责让这一切持续工作。

任何一层的损耗、发热、翘曲、良率或维修困难,都可能抵消上一层带来的性能收益。

CPO 的价值,不只是更快,而是少绕几步

CPO,也就是共封装光学,简单说就是把光学引擎直接放到交换芯片旁边,而不是把光模块作为一个远端、可插拔的部件。

CPO(Co-Packaged Optics,共封装光学)

把光电转换组件与交换芯片放在同一个封装或极近的位置,减少高速电信号长距离传输,以降低功耗和信号损耗。

GlobalFoundries 在 2026 年 5 月发布 SCALE CPO 平台,强调它兼容 OCI MSA,并支持 CWDM、DWDM、TSV 和 2.5D/3D 堆叠。这个发布值得注意的地方,不只是技术参数,而是它把 CPO 放进了“可以制造、可以测试、可以服务”的平台里。

Coherent 在 OFC 2026 展示了多种 CPO 路线,包括基于硅光的 6.4T socketed CPO、外置激光器,以及 400G 每通道的 InP 调制器阵列。它没有声称只有一种架构会胜出,反而明确展示了多条路线并存的现实。

这说明 CPO 还没有成为一个简单的替代关系。它不是“明天所有可插拔光模块都会消失”,而是随着带宽和功耗压力增加,部分连接开始需要更靠近芯片的光学方案。

CPO 的难点也正在这里:一旦光学部件与交换芯片封装得更紧,系统可能更省电、更快,但维修、替换、测试和供应链协作也会更复杂。

一个可以拔下来的模块坏了,通常可以更换。一个和核心芯片紧密集成的光学系统坏了,如何定位和维修,就不再只是工程师个人经验的问题。

真正的新问题:谁来定义“连得上”

当一台 AI 服务器由不同公司的芯片、内存、封装、光学器件、基板和交换设备组成时,单个厂商很难独自控制整条链路。

这也是 Lightmatter 在 2026 年推动 OCP CPO 参考架构计划的背景。参与者包括 Celestica、Corning、Dell、Flex、Foxconn、Keysight、Qualcomm 和 Quanta 等不同环节的企业。

这个计划讨论的不是某家公司产品的宣传语,而是开放规格、互操作测试和认证框架。

换句话说,行业开始承认:CPO 要规模化,不能只证明“我家的方案能跑”,还要证明“我家的方案能和别人的系统一起工作”。

这件事和 UCIe、OCI MSA 一类标准的意义相似。标准并不会让技术自动变好,但它能把原本隐藏在供应链里的协作问题显性化:

  • 不同厂商的芯片和光学接口如何配合?
  • 出现信号错误时,谁负责定位?
  • 光学引擎能否单独测试和替换?
  • 系统升级时,旧设备还能不能继续工作?
  • 性能、功耗和可靠性由谁来定义?

如果这些问题没有答案,AI 基础设施就可能出现一种很熟悉的局面:演示很快,量产很慢;单点指标很高,系统协作很脆弱。

玻璃基板和 PCB,不是“配角”

当封装变大、芯片变多,承载它们的基板也会遇到极限。

Intel 在 ECTC 2026 介绍玻璃基板研究时,强调了几个原因:有机基板在大尺寸封装中可能出现翘曲和稳定性问题,而玻璃能够提供更平整的表面、更稳定的尺寸和更适合大规模互连的结构。

PCB 和 CCL 也处在类似的位置。它们不一定出现在消费者看到的产品宣传里,却决定高速信号能否完整地通过系统。

在更高速度下,材料的介电损耗、铜箔粗糙度、层间结构、热膨胀和制造一致性都会变成实际问题。PCB 不是一块“把所有东西焊上去的板子”,而是高速数据和电力共同经过的基础设施。

因此,HBM、CPO、基板、PCB 和 CCL 不应该被看成五个孤立的热门词。它们共同回答的是一个问题:

当计算密度不断上升,数据和电力还能不能以可接受的损耗穿过整台机器?

AI 基础设施的竞争,开始从峰值性能转向协作能力

这些技术目前仍处在不同阶段。

有些是已经展示的产品,有些是工程平台,有些是会议论文,还有一些只是路线图。厂商公布的功耗、带宽和可靠性数据,也主要来自各自的测试条件,不能直接等同于整个行业的实际部署。

但它们共同指向一个清晰变化:AI 的规模化不再只取决于单颗芯片的峰值性能。

它还取决于芯片之间能否持续交换数据,封装能否稳定制造,光学和电气接口能否相互兼容,系统能否被测试和维修,供应链能否在出现故障时找到责任边界。

这也是为什么“互连标准”听起来不像一个令人兴奋的词,却可能比下一颗更大的芯片更决定 AI 系统能走多远。

芯片负责计算,连接负责让计算成为一个系统。

当我们再听到“把更多芯片堆在一起”时,也许应该多问一句:

它们真的只是堆在一起,还是已经学会了长期、稳定、可维修地协同工作?

延伸阅读


《芯片战争》
克里斯·米勒
理解先进芯片、制造能力与国家产业竞争之间的关系。
《规模:复杂世界的简单法则》
杰弗里·韦斯特
理解系统变大之后,连接、能耗和组织方式为什么会一起变化。
往期内容

一篇《自然》论文,离一个孩子的治疗还有多远
OpenAI站到“开放”一边,Anthropic却留在名单之外:AI公司的开源分歧,究竟是理念还是生意?
黄仁勋说 AI 需要开放模型:未来最值钱的不是权重,而是经验
人少、会用 AI,就叫 AI Native 团队了?
AI 评测开始进入工程阶段:真正要自动化的不是出分,而是找到该测什么
拾荒图书馆
看见技术,也看见它改变世界的方式