一个园区，三种通信网络

公众号封面图｜绿色、蓝色和紫色光路分别表现前端、scale-out与scale-up三种通信网络。

摘要｜从网络功能看，一座AI园区并不是只靠一张网运行：前端、scale-out和scale-up同时存在，却承担不同任务。本文逐一解释三类网络，并以DGX H100 SuperPOD官方参考架构拆解DGX、Leaf、Spine、全胖树、Twin-port OSFP与AOC，最后给出万卡集群在两层POD、三层全胖树等情景下的光互连数量和市场规模估算。

首图｜同一座AI园区中，前端网络负责用户、数据、存储和管理流量；scale-out负责跨服务器、跨机柜协同；scale-up负责短距离计算域内的GPU高速互访。DCI / scale-across连接园区外部，本文另行看待。

上一篇解释了大模型为什么要分散到多颗GPU上执行。这一篇把视角扩展到整座AI园区：用户请求和训练数据要进入集群，分布式任务要在服务器之间交换参数与中间结果，计算域内的GPU还要保持高带宽、低时延同步。三类通信对距离、带宽、可靠性和成本的要求并不相同。

把三类需求放在一起观察，可以用“Tri-verging”来概括：tri-表示“三”，verging表示正在趋近或朝某个方向演进。它不是一种新的网络协议，也不是把三种物理网络合并为一种，而是在提醒设计者，同一园区必须同时处理三套目标不同的通信任务。

scale-up和scale-out也不是AI时代才出现的词。scale-up早已用于工程和生产过程的按比例放大，词典记录的早期书面用例可追到1945年。至少在微软研究院1999年的技术报告中，两者已经被明确对立：换成更大的服务器叫scale up，增加更多服务器叫scale out。放到AI数据中心，判断标准依然不是线缆朝上还是朝外，而是通信的职能：scale-up扩大紧耦合计算域，scale-out把更多服务器和机柜连成集群。

AI数据中心的网络，本质上是三种用途不同的通信系统：一套把用户请求、数据和管理信息送进集群；一套在不同服务器、不同机柜之间交换训练和推理数据；一套让同一计算域里的多颗GPU协同运行。集群从几百颗GPU扩展到万颗以上后，网络就不再只是技术参数，也会影响项目一年究竟能交付多少有效算力。

GPU性能指标只是理论峰值。数据中心能够持续交付多少有效算力，还取决于网络带宽、时延、拥塞控制、故障恢复和系统调度。

一、三种网络分别传输什么数据

本文介绍前端、scale-out和scale-up三种具有不同功能的通信网络：

前端网络：它承载用户请求、API流量、训练数据导入、检查点读写、存储访问、资源配置、监控和运维控制。成熟以太网仍是主流，设计重点是可靠性、互操作性、成本和维护便利性。规模较大时，存储网络还可能从前端进一步拆分

scale-out网络：它连接不同服务器和机柜，承载all-reduce、all-to-all等集合通信，以及梯度、参数、激活值和推理中间结果。系统可以采用InfiniBand，也可以采用支持无损传输、拥塞控制和遥测的高性能以太网。关键指标不仅是端口速率，还包括双向截面带宽、尾时延、拥塞下的公平性和故障恢复能力。

scale-up网络：它服务距离更短、耦合更紧的计算域，使多颗GPU以更高带宽、更低时延访问彼此的数据。NVLink / NVSwitch是典型实例。现行NVL72机柜内仍大量使用铜互连；当计算域跨出机柜、带宽密度继续上升时，光scale-up与CPO才会形成新的增量。

图 1｜“Tri-verging Network Demands”网络需求示意。左侧比较传统数据中心、HPC和AI / ML网络，右侧把绿色前端、蓝色后端scale-out和紫色XPU scale-up放入同一园区。来源：NVIDIA Research，VLSI 2026，Slide 8；右侧示意引自Arista。

图1说明传统数据中心、HPC和AI计算分别形成了不同的网络需求。绿色前端网络更强调标准化、可靠性和多供应商兼容；蓝色scale-out网络更重视跨服务器、跨机柜的大规模通信效率；紫色scale-up网络面向更紧耦合的GPU计算域，协议和系统设计通常更加专有。三类网络会同时出现在一座AI园区中，但并不因此变成同一种网络。

绿色框。Traditional Datacenter Fabrics列出Ethernet、Fat-tree topologies、标准化部件与多供应商采购，并把成本、可靠性和互操作性作为优化目标。右侧对应绿色Front-end Network：XPU节点先接Leaf，再到Spine，顶部DCI继续连向其他数据中心、城域网或广域网。

蓝色框。HPC Fabrics → Scale Out列出InfiniBand或Ethernet、以胖树为主的多种拓扑，并强调在标准化与定制之间取得平衡，在规模扩大后仍保持系统性能。右侧蓝色Back-end Network负责服务器与机柜之间的梯度、参数和集合通信。

紫色框。AI / ML Fabrics → Scale Up以NVLink为例，可采用胖树、Torus等拓扑，协议、交换与封装更可能由平台厂商定制。右图紫色网络位于XPU计算域内部，目标是让多颗GPU在更低时延、更高带宽下协同工作。

产业与市场含义：三种颜色也对应三种竞争结构。前端标准化程度较高、市场广，但价格竞争更充分；scale-out是当前800G、1.6T光模块、交换芯片和高速网卡最明确的增量市场；scale-up定制程度更高，价值更容易向GPU平台、交换芯片、硅光和先进封装的协同设计环节集中。

二、网络规模如何影响有效算力

假设有N个计算节点，如果每两个节点都拉一条独立线路，链路数将达到：

N(N−1) ÷ 2

8个节点需要28条连接；1,000个节点会增加到499,500条。真实数据中心会采用Leaf-Spine、Clos或胖树等分层结构，把连接复杂度收敛到可部署、可运维的范围。与此同时，系统必须处理多级转发、上行带宽、拥塞和故障域。

训练和推理作业会在计算与通信之间反复切换。链路拥塞、集合通信尾时延、节点故障和调度碎片都会降低GPU有效利用率。因此，数据中心不能仅仅考虑有多少GPU，还要考虑这些GPU一年能交付多少有效算力。

年度有效算力产出 ≈ 理论吞吐能力 × 平均有效利用率 × 年度可用时长

理论吞吐能力来自GPU数量、数据格式和芯片规格；平均有效利用率受通信计算重叠、拥塞控制、并行策略和调度影响；年度可用时长又受故障、维护和恢复速度影响。网络投资的价值，是让已经采购的计算资源更接近稳定、可持续的生产能力。

三、DGX、Leaf、Spine与全胖树

DGX是什么。DGX H100不是一张GPU，而是一台英伟达AI服务器。它集成8颗H100 GPU、4颗NVSwitch、CPU、内存、存储和网络接口。8颗GPU在机内通过NVLink / NVSwitch协同，对外则由8个400G ConnectX-7逻辑端口进入计算网络。后面板只看到4个计算用OSFP位置，是因为每只Twin-port OSFP同时承载两条400G通道。

SU是什么。英伟达把32台DGX H100组成一个Scalable Unit，也就是一个可重复部署的扩展单元。满编时1个SU包含256颗GPU、8台Leaf和4台Spine；4个SU为128台DGX、1,024颗GPU。官方验证图为了给UFM管理设备留出接口，实际放置127台DGX，即1,016颗GPU。

Leaf和Spine在哪里。Leaf是直接连接DGX的接入层交换机；Spine不直接连接服务器，只负责把不同Leaf连起来。跨Leaf通信的典型路径是“DGX → Leaf → Spine → 另一台Leaf → 另一台DGX”。在两层结构中，Spine已经是顶层，没有再向上的端口；只有增加第三层Core后，Spine才会出现朝向Core的连接。

胖树为什么叫胖。普通树越靠近树根越细，容易在上层形成拥堵；胖树让上层总带宽不因汇聚而收窄。H100参考设计中，每台Leaf用32个400G端口连接DGX，再用32个400G端口连接Spine，上下行设计为1∶1。它表示拓扑本身不做结构性超售，并不保证任意流量模式下每一对GPU都能始终跑满400G。

Rail-optimized是什么。一台DGX的8个计算端口可以看作8条“轨”。同一SU内所有节点的第k个端口接到第k台Leaf，让同一GPU位置的集合通信尽量在同一条轨内完成，从而减少不必要的跨层转发。

图 2｜上方是Spine，中间是Leaf，下方是DGX H100。红线表示Leaf—Spine的2×400G NDR，橙线表示DGX—Leaf的1×400G NDR，蓝线表示UFM管理连接。底图来自NVIDIA DGX H100 SuperPOD参考架构Figure 5，中文说明为本文整理。

官方图里共有32台Leaf和16台Spine。127台DGX各有8条400G计算链路，所以节点到Leaf为1,016条；每台Leaf有32条上行，32 × 32 = 1,024条Leaf—Spine链路。每对Leaf和Spine之间使用2条400G连接，图中的红线因此标为2×400G。

产业与市场含义：scale-out光互连需求首先由每台服务器的端口数、网络层数、过订阅比和光化边界决定。在拓扑不变的区间内，GPU增加会近似线性地增加端口和模块；当交换机端口数用尽、网络必须增加Core层时，“每颗GPU对应多少模块”的系数会跳升。高radix和多平面网络又可能把更大规模维持在两层，所以任何系数都只能与具体架构绑定。

计算之前还要分清四个统计对象：400G逻辑端口是设备上的一条收发通道；400G物理链路连接两台设备，一条链路有两个光端；物理光模块是插在OSFP笼子里的完整外壳；AOC则把两端光电器件和中间光纤做成一根不可拆的线缆组件。它们不是同一个数量。

Twin-port OSFP。OSFP是Octal Small Form-factor Pluggable，octal表示8条高速电通道。英伟达的800G Twin-port OSFP把8条通道分成两组，每组形成一条400G连接。因此，1只物理模块可以同时承载2个400G逻辑端口。DGX H100每台有8个400G计算端口，却只需要4只这种双口模块。

AOC。AOC是Active Optical Cable，即有源光缆。光纤与两端的光电收发器在工厂固定成一个整体，一条AOC是一个线缆组件，但内部有两个光学端。它安装简单、光接口少，缺点是长度固定，一端损坏时通常需要整根更换，也不便接入普通光纤配线架。AOC不能既按一条线缆统计，又把两端重复算成两只可拆卸模块。

图 3｜DGX H100后面板正中标有Compute 4× Dual Port OSFP；4只双口模块对应8条400G计算链路。下方示意Twin-port OSFP与AOC的计数差异。后面板底图来自NVIDIA DGX H100 SuperPOD参考架构Figure 4。

产业与市场含义：Twin-port提高了面板密度，减少的是模块外壳数量，并没有让400G光端和总带宽消失；单只模块承载的光学引擎、功耗和价值可能反而上升。AOC把模块与光纤价值合并到线缆组件，CPO又会把价值从面板可插拔模块迁向光引擎、硅光、激光器、封装和耦合。只看“模块只数”会低估封装变化带来的价值重分配。

四、目前美国超大数据中心的规模与建设进度

公开披露显示，Colossus的运行规模约为20万颗GPU，并提出向100万颗GPU扩展；相关规划还给出250 MW和达到1.2 GW的功率数字。200k就是20万，1M就是100万，1.2 GW等于1,200 MW。这些数字分别描述企业披露的运行规模、扩展目标和供电规划，不能当作同一时点已经交付的设备清单。

Stargate也包含多个站点和多个阶段。OpenAI公开信息会区分运行、开发、签约和规划容量。项目从宣布到形成供应商收入，仍要经过设计、审批、土建、通电、设备上架、网络验收和客户认证。

图 4｜Colossus与Stargate的数字分别处在运行、建设、签约或规划阶段。航拍底图取自英伟达VLSI 2026 Slide 9；状态标签依据xAI与OpenAI公开信息整理，检索于2026-08-23。项目规模来自企业披露，未经本文独立审计。

产业与市场含义：极端scale-out会增加交换端口、光模块、光纤、配电和冷却需求，但项目规划不等于采购订单。MW、GPU数量和光模块数量之间也不存在固定比例：同样的GPU规模，可以采用两层或三层拓扑，可以使用铜缆、可插拔光模块、AOC或CPO。收入确认需要跟踪具体站点何时通电、服务器何时交付、网络采用几层以及何时通过验收。

对园区运营者而言，电网接入、变压器、冷却系统、光纤布线和软件调优已经与GPU交付同样重要。对供应链而言，终局规划用于判断方向，站点级建设节奏才决定订单何时出现。

五、光互连市场规模估算

以下用英伟达相关方案举例。基准先只计算AI集群内部的scale-out计算网络；前端AOC、存储网络、DCI和未来光scale-up分别列出，不混入同一个数字。统计时同时报告400G物理链路、400G光端和物理模块，避免把端口、链路和模块外壳混为一谈。

第一步｜确定GPU和链路。官方4 SU验证规模为127台DGX H100，每台8颗GPU，因此GPU数是127 × 8 = 1,016。节点到Leaf有127 × 8 = 1,016条400G链路；Leaf到Spine有32台Leaf × 32条上行 = 1,024条400G链路。

1,016 + 1,024 = 2,040条400G物理链路；2,040 × 2 = 4,080个400G光端

第二步｜计算物理模块。DGX侧是127 × 4 = 508只Twin-port OSFP。32台Leaf的下行端口按整机笼子配置为512只Twin-port；Leaf—Spine两端共有2,048个400G端点，对应1,024只Twin-port。英伟达官方BOM因此列出508只System OSFP和1,536只Switch OSFP。

508只System OSFP + 1,536只Switch OSFP = 2,044只物理模块

第三步｜外推两层POD。如果万卡集群由若干端口密度、光化比例和封装关系相同的两层POD复制而来，外推系数为10,000 ÷ 1,016 = 9.8425。这个口径得到约4万个400G光端和约2.01万只物理模块。

2,044 ×（10,000 ÷ 1,016）≈ 20,118只物理模块

第四步｜考虑统一三层网络。H100 / H200同代参考架构在2,048颗GPU以内可保持Leaf—Spine两层；从4,096颗GPU起增加Core层。若万卡被建设成一个统一、全光、无结构性超售的三层胖树，Node—Leaf、Leaf—Spine和Spine—Core三层都约有一条链路对应一颗GPU，物理模块量级会接近3万只。

10,000颗GPU × 3层 × 2个光端 ÷ 2端/只Twin-port ≈ 30,000只物理模块

之所以可以在同一架构区间内按GPU数量外推，是因为H100中每颗GPU对应一个400G scale-out注入端口，全胖树又让每一层维持近似1∶1的带宽。但这个关系不是行业定律：增加Core层会提高系数，高radix或多平面网络可能减少层数，铜缆、AEC、不同速率和CPO也会改变光化比例与模块封装。

如果服务器到Leaf的短距离连接全部采用铜缆，只把Leaf—Spine主干光化，万卡可降到约1万只物理模块。不过英伟达H100 SuperPOD的实际布线距离和机柜布局通常使大量节点—Leaf链路仍需光连接，因此这更适合作为紧凑布局或纯理论下限，而不是默认方案。

前端与存储还会增加需求。H100 V11参考设计示例为每台DGX配置2条200G前端AOC，万卡即1,250台DGX × 2，约2,500条AOC；现行网页版本已经把介质写成“Varies”，所以这只是特定版本的示例。按同一代存储网络BOM线性外推，约为6,200只收发模块，但具体数量取决于存储系统。

物理模块数还要乘以实际产品组合。若万卡scale-out采用约1万—3万只物理模块，并把500、1,000和2,000美元作为纯粹的均价敏感性参数，对应价值量约500万—1,500万美元、1,000万—3,000万美元和2,000万—6,000万美元。这里不含交换机、NIC / DPU、光纤、连接器、施工、备件、前端、存储和DCI，也不是市场报价。

全球市场再用两组口径校验。IEA称全球数据中心投资在2024年已达到约5,000亿美元；2026年报告又指出，五家大型科技公司2025年资本开支超过4,000亿美元，2026年还可能继续大幅增加。这里包含服务器、土地、厂房、电力和冷却，不能直接视为光互连收入。

为缩小统计范围，本文采用McKinsey到2030年约3.1万亿美元的AI技术与硬件投资子项进行交叉验证。假设其中网络互连占8%～12%，光学价值占网络互连的30%—50%，得到2025—2030年累计约740亿—1,860亿美元，折合年均约120亿—310亿美元。两个比例都是本文设置的情景参数，只用于判断量级。

3.1万亿美元 × 8%～12% × 30%—50% = 740亿—1,860亿美元（累计）

市场报告提供了另外一条证据。TrendForce与LightCounting都给出AI光互连市场从2025年165亿美元增至2026年260亿美元的估算。LightCounting此前预计2027—2030年云数据中心光学年增速约15%—20%；以260亿美元为起点机械外推，2030年约为455亿—539亿美元。

260亿美元 ×（1 + 15%—20%）⁴ ≈ 455亿—539亿美元

LightCounting还提出2030年AI集群光互连年销售额接近1,000亿美元的高景气情景，但同时强调需要许多条件共同满足，包括集群继续扩张、每颗GPU使用更多光连接、scale-up加速光化，以及供应链没有出现明显回调。

图 5｜万卡计算网按两层POD复制约2.01万只物理模块，统一三层全胖树约3万只；约1万只是节点—Leaf用铜、仅主干光化的下限情景。全球数字采用行业报告与本文敏感性参数交叉验证，不代表订单预测。

产业与市场含义：光互连市场不会只随GPU数量按固定倍数增长。网络层数增加会放大端口需求，高radix与多平面会压缩层数，Twin-port会减少模块外壳而提高单只带宽，CPO会减少面板可插拔模块却把价值迁向光引擎和封装。真正值得跟踪的是总光端、总带宽、光化边界和价值落在哪一种产品形态，而不是只盯一个模块只数。

结语

一座AI园区同时运行前端、scale-out和scale-up网络。前端处理用户、数据、存储和管理，scale-out连接服务器与机柜，scale-up把紧耦合计算域内的GPU组织起来。三者在同一园区共存，但优化目标、标准化程度、供应商结构和光化节奏并不相同。

以英伟达H100参考架构为例，1,016颗GPU对应2,040条400G链路、4,080个400G光端和2,044只物理OSFP。复制同类两层POD外推到万卡，约为2.01万只；若建设统一三层全胖树，完全光化的量级接近3万只；若节点—Leaf使用铜缆，理论下限又可能靠近1万只。三组数字都成立，但分别对应不同架构。

全球层面，市场机构对2026年AI光互连市场约260亿美元的估算，是比较可信的证据；按15%—20%年增速机械外推，2030年约455亿—539亿美元。接近1,000亿美元属于scale-up光化、CPO放量、带宽升级和资本开支持续高增长同时出现的上行情景。电力、建设进度、铜互连比例、模块降价和统计边界差异都可能把结果拉低。

做产业或投资判断时，应继续核对八项数据：网络承担什么任务，连接距离多远，拓扑有几层，是否过订阅，光化比例多高，模块每只承载几个端口，客户认证与量产良率如何，以及收入何时确认。只有这些变量落到具体产品、具体客户和具体站点，GPU数量与资本开支才会转化为可验证的光互连收入。

下一篇将进一步比较可插拔模块、CPO与OOI。它们不是简单的前后代替，而是把光引擎放在不同位置，用能效、带宽密度、可维护性、良率和供应链控制权交换各自的系统价值。

来源与口径说明

·NVIDIA Research，VLSI 2026，Slides 8—10（PDF第9—11页）；本文把其中网络层次与项目规模用于行业分析。

·VLSI 2026课程页面，Ben Lee / NVIDIA Research：https://vlsi26.mapyourshow.com/8_0/sessions/session-details.cfm?ScheduleID=233

·Arista，Powering All-Ethernet AI Networking：https://blogs.arista.com/blog/powering-all-ethernet-ai-networking

·Merriam-Webster，tri-、verge与scale-up词源及早期用例：https://www.merriam-webster.com/dictionary/tri-；https://www.merriam-webster.com/dictionary/verge；https://www.merriam-webster.com/dictionary/scale-up

·Microsoft Research，Scalability Terminology，MSR-TR-99-85，1999：https://www.microsoft.com/en-us/research/publication/scalability-terminology-farms-clones-partitions-and-packs-racs-and-raps/

·NVIDIA，DGX H100 SuperPOD Network Fabrics（Leaf、Spine、Figure 4与Figure 5）：https://docs.nvidia.com/dgx-superpod/reference-architecture-scalable-infrastructure-h100/latest/network-fabrics.html

·NVIDIA，DGX H100 SuperPOD Major Components（1,016 GPU与2,044只计算网OSFP）：https://docs.nvidia.com/dgx-superpod/reference-architecture-scalable-infrastructure-h100/latest/components.html

·NVIDIA，DGX H100 / H200 User Guide（4个OSFP位置、8个400G逻辑端口）：https://docs.nvidia.com/dgx/dgxh100-user-guide/introduction-to-dgxh100.html

·NVIDIA，LinkX 100G-PAM4 Product Line（Twin-port OSFP结构）：https://docs.nvidia.com/networking/display/400g100gpam4ovdev/linkx-100g-pam4-product-line-overview

·NVIDIA，Cabling Data Centers Design Guide（AOC定义与优缺点）：https://docs.nvidia.com/dgx-superpod/design-guide-cabling-data-centers/latest/cable-tech.html

·NVIDIA，DGX H200 SuperPOD Architecture（4,096 GPU起增加Core层）：https://docs.nvidia.com/dgx-superpod/reference-architecture/scalable-infrastructure-h200/latest/dgx-superpod-architecture.html

·NVIDIA，Spectrum-X（高radix与multiplane扩大两层网络规模）：https://www.nvidia.com/en-us/networking/spectrumx/

·xAI，Colossus：https://x.ai/colossus；OpenAI，Stargate站点与美国算力基础设施：https://openai.com/index/five-new-stargate-sites/；https://openai.com/index/building-the-compute-infrastructure-for-the-intelligence-age/

·IEA，Energy and AI；Key Questions on Energy and AI：https://www.iea.org/reports/energy-and-ai/executive-summary；https://www.iea.org/reports/key-questions-on-energy-and-ai/executive-summary

·McKinsey，The cost of compute：到2030年约3.1万亿美元AI技术与硬件投资子项：https://www.mckinsey.com/industries/technology-media-and-telecommunications/our-insights/the-cost-of-compute-a-7-trillion-dollar-race-to-scale-data-centers

·TrendForce，2026年AI光收发模块市场260亿美元：https://www.trendforce.com/presscenter/news/20260420-13017.html

·LightCounting，2027—2030年15%—20%增长情景：https://www.lightcounting.com/newsletter/en/july-2025-cloud-data-center-optics-330

·LightCounting，2030年接近1,000亿美元的高景气情景及条件：https://www.lightcounting.com/newsletter/en/march-2026-ethernet-optics-382

·测算说明：万卡模块数依据公开参考架构作情景外推；价格、网络互连占比和光学价值占比均为研报参数

检索日期：2026-08-23。