下一代AI芯片:用光连接HBM

为解决人工智能（AI）芯片所面临的“内存墙”这一长期挑战，根据韩媒zdnet报导，内存封装领域正在讨论采用新一代AI芯片设计，将图形处理单元（GPU）或ASIC计算单元和高带宽内存（HBM）拆分开来进行独立封装，然后通过“光学互联”技术来连接它们，可以将当前8颗HBM的安装数量提升到现在的数倍。

尽管每一代GPU性能都在大幅提升，但存储数据的供应速度远远跟不上，HBM虽然提供了更宽的数据通道，但面对AI运算需求的爆炸式增长，带宽和传输速度仍然不足。特别是随着高带宽内存（HBM）堆叠层数从12层、16层向20层以上迈进，垂直堆叠技术已走到临界点——不仅工艺难度呈指数级上升，JEDEC甚至已放宽HBM高度规范，但更大的瓶颈在于：GPU芯片周围的容纳HBM的空间已耗尽，无法再横向增加HBM数量。

过去，HBM一直紧贴在GPU旁边，这是为了最小化数据传输延迟的必然选择。然而，在2.5D封装结构下，GPU芯片的“海岸线”——边缘的长度严格限制了可容纳的HBM数量，GPU芯片周围的现有空间已经无法安装更多HBM。

一位韩国大型存储厂商的研究人员向ZDNet透露：“目前，我们正努力扩展HBM的带宽和容量，但我们正在与客户讨论如何通过光连接克服GPU的‘海岸线’限制，可以安装更多的HBM。”

具体而言，HBM可能被安置在距离GPU数厘米的位置，围绕GPU环形排列，或在电路板中央设立独立的HBM区域。由于光信号传输速度远快于电信号，物理距离的增加不会造成明显的延迟损失，却可以彻底摆脱GPU边长对HBM数量的限制。

这意味着，AI芯片厂商不需要内存厂商拼命堆高HBM层数，就可以将HBM水平铺展，在同一块基板上搭载比目前多数倍的容量，从而将整个AI加速器系统的内存容量和数据带宽推向前所未有的水平。

“所有可能性都摆在桌面上讨论，”上述研究人员表示，“从充分利用GPU周边空间的方案，到将HBM完全隔离到GPU基板下方的方案都有涉及。后者需要显著扩展主板尺寸和改变整体形态，目前已与GPU厂商展开讨论。”他强调，这些还属于下一代AI加速器的先行研究，尚未定案。

利用光学互连技术来连接GPU和HBM的设想并非空中楼阁。在2025年的Hot Chips大会上，Celestial AI已展示了其光子互联模块，该技术使用光来连接下一代大规模GPU与加速器中的芯片，并可将光学接口布置在ASIC芯片中间，将周边空间留给HBM的电接口。

从产业化角度来看，全球OSAT厂商的一位高管对ZDNet表示：“光学互连已是明确的趋势，问题只在时机。”他预测，技术落地将按规模由大到小推进——先在机架与机架之间、服务器与服务器之间采用光学连接，然后再进入单板内部的芯片间光互连。但他同时指出，目前光学研究速度非常快，芯片间光互连的时间点可能不会太遥远。

一位韩国CPO器件开发企业的相关人士指出，GPU与HBM之间的光学互连，与数据中心服务器间的光通讯原理相同，但必须将原本用于大型设备的光电转换技术缩小到芯片级别，“光学元件需要做得更小、集成度更高，技术难度更大。”

编辑：芯智讯-浪客剑