夜雨聆风接前文《下一代XPU模组设计 & 超节点展望》
今天我给大家分享的是，来自新华三服务器系统部资深系统工程师汪星星在Open AI Infra Summit上的演讲，主题为《下一代AI的算力模组标准化》。由@唐僧_huangliang 整理并添加参考资料。
先说一下这件事当下存在的难点，以及推进标准化的紧迫程度。
第一点，国内算力模组标准化目前处于空白状态。我们长期使用的8卡机、PCIe卡，全部都是国外标准，国内没有对应的算力模组规范。再加上OCP相关规范后续不再更新，行业亟需一套国内自主的算力模组规范。
唐僧_huangliang注：OAM 2.0规范目前没有后续更新，不过OCP联盟新搞了另一套xPU/AI服务器规范。扩展阅读《Open Adapter Card：替代OAM，AI服务器的下一种形态》、《OAC AI卡进阶讨论：112x200G连接器、5U机箱、多芯片支持》。
第二点，国内GPU厂商数量众多，目前接近30家，二三十家的规模。这就带来产业化落地难题，每家厂商一套独立设计方案。由此产生巨大行业挑战，整体硬件成本高、研发落地周期长。
再讲标准化落地的难点：如果要基于超节点做模组标准化，硬件设计本身难度很高。做标准的都清楚，标准化需要兼容各类方案，再叠加超节点本身高密度的产品属性。多重兼容需求叠加高密度结构，内部硬件设计复杂度大幅提升。
我们此前做过大量分析，也和行业社区诸多领导、同事交流探讨过。我们整体方案思路是，基于现有超节点大禹架构（字节跳动牵头），架构内已经定义了计算节点基础形态。
在这个基础上，最大化预留算力模组尺寸空间，不会过度约束模组内部细节设计。只划定算力模组（GPU模块）最大可用空间，各家厂商可结合自身需求自主设计内部结构。厂商可自主选择配置UBB，也可以不配置；互联可选用线缆方案，也可选用连接器方案。通过这种方式，兼容市场多样化算力硬件方案。
第二点，过去OAM模组仅定义单一种规格。但PCIe规范、OCP网卡、BMC模块均存在多规格设计。国内GPU厂商数量庞大，我们可以基于不同国产芯片特性，定义多档模组规格。给各厂商提供多样化选型空间，厂商根据自家芯片规格设计模组。实现模组内部方案多样化，但对外统一标准接口，做到模组整体兼容。
以上是整体核心思路。
再看GCC社区，自Open AI社区成立后，已经发布多份行业规范，部分规范还在编写阶段。覆盖底层基础设施规范、机柜接口规范、整机柜规范等层级。但我们实际做产品设计时，上层节点相关设计仍只能参考OAM规范。
当下行业节点设计百花齐放，每家厂商一套独立方案。很多厂商来找我们定制超节点时，业内无统一规范，只能从零重新开发。定制开发成本极高。
基于此，我们有两点设想：第一，原有OAM规范当初仅适配1千瓦功耗芯片，如今已经完全过时。能否在OAI体系内完成这套规范的迭代升级？
唐僧_huangliang注：AMD MI355x OAM模组的最大功耗已经做到了1400W。新一代NVIDIA Rubin SXM预期功耗据传在2300W，AMD MI400系列估计也在相近的水平。
AMD Instinct MI440X 8x GPU企业级AI服务器方案
如上图，MI440X应该也是在UBB/OAM的基础上进行了改进。供参考。
第二，计算节点内部UBB+OAM算力模组，是否可以制定一套全国统一行业规范？
以上是我们的核心诉求。
接下来我们复盘OCP OAM这套成熟规范，借鉴其优势，再探讨国内自主标准落地路径。
先回顾OAM发展历史，再规划国内下一代标准建设路线。
2020年OCP推出OAM产品，推出初衷是解决PCIe卡两大核心限制。第一，AI训练场景下GPU之间需要高速互联，PCIe卡很难实现高效互联。第二，PCIe卡功耗上限极低，金手指供电仅75瓦，但当下GPU芯片功耗普遍达到千瓦级别。
基于以上痛点，OAM架构应运而生，时至今日仍是行业主流明星架构。
从最初的OAM 1.0到OAM 1.5版本，仅做了小幅升级优化。根据行业需求动态调整规范指标，单卡功耗支持提升至700瓦，互联带宽升级至112G。
但1.0版本落地时出现明显问题：行业最初设想OAM模组可通用复用。实际落地中模组复用案例极少，核心原因是各家硬件差异巨大。各家互联协议不同，部分使用PCIe、部分使用112G互联（Serdes速率）；功耗指标、互联拓扑也完全不统一。最终落地时每家厂商都要单独开发一套UBB硬件。
为此OCP快速调整架构设计，将对外兼容接口统一——对接服务器侧PCIe接口。8卡整机的PCIe接口标准统一，当时英伟达产品可正常进入国内，行业厂商普遍配套英伟达硬件。OCP同步与英伟达协商，英伟达开源对应接口标准，行业厂商可复用英伟达配套服务器方案，这是1.5版本的核心优化。
升级至OAM 2.0版本，功耗上限提升至1000瓦，包括112G互联。OAM规范不只是定义模组尺寸、外形规格，还提出创新互联拓扑与整机架构。2021年2.0版本首次提出Switch互联架构，如今行业所有超节点产品均基于以太网Switch完成互联（编者注：除了NVIDIA的NVLink之外，还有PCIe Switch的吧）。
同时还提出基于EXP卡（以太网网卡，参考上图中的NVIDIA）架构，目前已有客户落地商用案例。通过以太网网卡解耦所有GPU互联带宽，打造通用服务器超节点架构，这个也是OAM提出来的。
行业此前讨论过OAM 3.0版本，核心方向是超节点升级，但受多重因素影响，研发推进终止。后续OAM项目直接从OCP体系中移除。
原OAM项目负责人现已转做AMD Helios双宽机柜架构，我理解这属于OCP OAI体系的技术延续。
编者注：AMD Helios的技术指标基本上是瞄准NVIDIA Vera Rubin NVL72超节点。
回到国内市场，当下大量厂商都在咨询下一代服务器、下一代超节点的标准化方案。
过去行业以通用服务器为主，现在AI算力建设必然走向超节点路线，我们需要分开规划两类设备标准。
通用服务器层面，现有OAM服务器架构，我们计划做迭代升级，暂定命名UBB next，重新定义架构、外形尺寸、对外接口。
下一代OAM Next规范，会同步纳入光互联、超大功耗、大尺寸高功耗芯片、垂直供电等全新需求，完成整套标准定义。
超节点分为两大路线：Scale-up、Scale-out。
-Scale-up：GPU直接引出链路对接交换芯片。
-Scale-out：GPU无直连互联需求，形态类似传统PCIe卡、传统OAM服务器。将原本网卡承载的互联链路，通过cable tray等方式组网，搭建整机柜集群，大幅降低集群整体硬件成本。英伟达GTC大会也提出同类思路，这条路线值得深入探讨。
Scale-up超节点细分两类：当前已发布的大禹超节点、GCC刚发布的兆瓦系统下一代超节点。
-大禹超节点：沿用现有服务器外观、尺寸结构，深化内部硬件设计，统一模组规格标准。
-MW级下一代超节点：配套800伏高压供电、光互联技术；模组标准需要同步配套服务器架构同步设计，架构定稿后同步输出模组规范。
为区分传统OAM卡，我们将Scale out超节点配套扣卡命名MeZZ卡，形态类似PCIe扣卡，搭配专用底板，后续统一标准化定义。
短期行业现状：各家下一代OAM卡产品基本沿用OAM 2.0规范，但各家硬件规格存在差异化。当前最紧急的标准化任务是Scale up架构超节点：厂商自研芯片落地超节点需要全套全新定制开发，投入成本极高。我们优先推进大禹架构内部模组标准化定义。
接下来介绍详细标准化方案。
参考OCP标准制定逻辑，每套规格不仅定义模组外形，同时配套全新整机架构方案。
当前行业Switch互联需求旺盛，主要集中在超节点，8卡服务器客户也有同类需求。我们探讨将Switch集成进UBB模组，英伟达A100时代就采用NV Switch内置模组的方案。
但当前尺寸其实放不下内置Switch。分两种兼容方案：方案一，仅支持单8卡Switch互联；方案二，把8卡整机所有网络链路拉出来，组成一个解耦的超节点集群。现有尺寸无法同时兼容两套方案，评估后760mm长度规格可以放下全部硬件。
该方案同步预留OAM尺寸扩容、功耗持续提升的裕量设计。但节点整体长度接近1米，常规1.2米机柜无法容纳，需要配套1.4米机柜，后续行业需要共同讨论尺寸取舍，保障方案落地可行性。
唐僧_huangliang注：在《UALink 2.0等规范发布：定义在网计算、Chiplet、管理性和200G性能》中，我还列出过一种媲美Cable Tray性能的集成Switch跨节点高速互联方案。供参考。
再梳理下一代OAM模组尺寸初步规划，不含NPC、NPO光器件的规格分三类：
-第一类：200mm×102mm，小幅加长，适配传统19英寸标准服务器机柜，锐捷同事也提出需兼容19英寸机柜的需求。
-第二种：行业现存痛点——模组长度持续加长，从165mm、170mm逐步升级至200mm、300mm，但宽度长期受限。而GPU芯片多为正方形，长宽均需要扩容，如何突破102mm宽度限制，这里有2个方案：
方案一：模组硬件旋转90度安装，规避19英寸机柜宽度限制；
方案二：采用21英寸全新规格服务器，业内已有厂商开展预研；
方案三：保留21英寸机柜，模组长度扩容至240mm。
配套NPC、NPO光器件的模组规格规划两类，以上全部为行业初步讨论方案，欢迎各界厂商共同参与完善规格定义。
供电标准统一沿用54V供电，单模组功耗暂定3000瓦；散热方案取消风冷，仅保留液冷散热。
互联带宽最低支持224G，互联通道7* x16；上行接口现阶段以PCIe为主，下一代规划双PCIe上行。
唐僧_huangliang注：以AMD Instinct GPU的8卡互联方案为参考，7* x16还可以兼容点对点PCIe/Infinity Fabric等Full-mesh互联架构。
前文中我提到的OCP Open Adapter Card （ OAC ）规范，其高密连接器规划是112 lane x 200G设计。
对于双PCIe上行，我的初步理解，可能是用于GPU Box池化场景，可以将物理GPU资源虚拟化后细粒度映射到不同的CPU服务器主机？（个人水平有限，欢迎大家指正）
以上参数全部整合终端客户真实需求汇总得出。
说完服务器标准，接下来讲解超节点标准化方案。
社区现已发布液冷整机柜规范，定义两类超节点：GPU Box、一体机。
第一类：GPU Box内部无详细硬件定义，我们可以补充完善内部模组标准。GPU Box不带CPU，最多容纳8颗GPU——8个OAM模组。需要统一规范模组结构、对外接口；现有OAI标准无法适配，需要全新定义。
第二类：一体机。集成CPU、PCIe Switch硬件，最多搭载4颗GPU+UBB模组，需要统一模组规范。锐捷同事也提供了配套优化方案，后续行业整合形成完整标准。
行业主流超节点拓扑：单OAM模组8×400G互联，整机8台交换机，单柜64卡组网。
一体机硬件构想：单颗CPU搭配PCIe Switch，UBB模组对外提供统一接口，接口分两种形态：连接器对插、线缆直连。
-连接器方案：多数厂商倾向保留UBB，为了卡间互联信号。可通过PCIe Switch、右端连接器对接至UBB，模组尺寸暂定350mm。
一体机连接器方案硬件布局：左下角为PCIe协议通道，4颗GPU对应4组PCIe信号；中间Busbar供电，标准对齐ORv3；两侧是Cable tray，各家硬件存在差异，我们划定通用取值范围，厂商在范围内开发即可实现硬件复用。后续会开源信号映射、SI损耗分配、连接器选型规范。
-第二种一体机方案：线缆直连方案。
适用场景：四张GPU卡之间无本地互联需求，全部集群互联走Cable tray链路，可取消UBB硬件。取消UBB后，四张GPU的PCIe信号需要接入PCIe Switch，可采用异形Switch板，也可采用线缆方案。
唐僧_huangliang注：这里可以参考AMD Helios的计算Tray设计。不同点在于下一代Venice CPU与MI455X GPU之间应该没有PCIe Switch，一部分原因应该是MI400 GPU可以直连Scale-out网卡。
扩展阅读《AI超节点Scale-Up展望：为什么NV和AMD都要“消除”PCIe Switch？》
线缆方案优势：SI信号完整性表现更好，交换机可布置在机箱两侧，通过线缆直连GPU。
短板：高密度机箱内部线缆数量过多，结构设计难度大幅提升。
优化方式：CPU主板与Switch板二合一，减少线缆总量，简化内部结构。
硬件布局灵活：可将全部GPU集成单模组，也可拆分为4个独立小模组，依靠线缆互联；统一尺寸、接口标准，保证硬件跨厂商复用。
线缆方案硬件布局：左上角、左下角传输PCIe信号，右侧走三总线。
以上是一体机两类标准化方案，接下来讲解GPU Box方案。
GPU Box无CPU，除去IO、风扇安装位，剩余660mm内部空间，可集成PDB、PCIe Switch、OAM、UBB硬件，最多容纳8张GPU卡，后续统一整套硬件接口规范。
GPU Box尺寸规划：长度660mm，宽度417mm；左侧接入PCIe信号，右侧走Cable tray互联，全部采用线缆连接。左侧PCIe通道对接CPU节点、网卡、硬盘等外设。
再规划下一代远期超节点标准，未来硬件必然集成NPC、NPO光器件，模组长宽尺寸同步扩容。
初步规划长度300mm，宽度102mm或114mm；供电、功耗、互联指标和前文标准保持一致。
接下来讲Scale Out横向扩展超节点路线，未来大客户AI算力集群会全面切换超节点架构。现有PCIe卡、OAM 8卡整机全部升级为超节点架构。
架构收益：网卡集成在底板，省去外置光模块硬件，通过底板网卡直连Cable tray交换机，大幅降低光模块采购成本；光模块可靠性低于铜线互联，底板有线方案同步提升集群整体可靠性，英伟达已推出同类架构产品。
国内同步规划配套标准：单CPU搭配8颗GPU，单卡本地互联（CPU to GPU）独立完成，整机柜跨卡互联依靠底板网卡Cable tray链路。
带宽组网测算：400G网卡拆分200G通道，可搭建两套128卡集群；采用100G通道可实现单柜256卡整机互联，这条路线纳入后续标准化规划。
8卡模组硬件优化方案：模组旋转90度安装，空间布局更灵活；机箱中部可以布置PCI Switch，右侧布置连接器、启动硬件；左侧集成网卡芯片直连Cable Tray互联链路，模组整体长度约600mm。
最后整体汇总：本次规划覆盖8卡服务器、下一代OAM、下一代UBB、两类超节点（Scale-up、Scale-out）。
Scale up超节点细分为一体机、GPU Box、远期兆瓦系统超节点；Scale out覆盖1U、2U通用节点。
整套标准方案近期会在行业社区正式立项，立项后欢迎国内芯片厂商、服务器整机厂商、终端客户共同参与标准制定。加速整个AI产业的快速化落地。
参考内容https://www.bilibili.com/video/BV13WopBsEAa
如需讲稿pdf文件，可以在关注本微信公众号之后，从后台对话框/私信发消息nextAI 来获取分享链接。
注：本文只代表作者个人观点，与任何组织机构无关，如有错误和不足之处欢迎在留言中批评指正。如果您想在这个公众号上分享自己的技术干货，也欢迎联系我：）
尊重知识，转载时请保留全文，并注明来源出处链接。感谢您的阅读和支持！
历史文章汇总：http://www.zhihu.com/column/huangliang
