AI 集群参考设计指南:构建 8K GPU 集群

在构建用于人工智能（AI）训练的大型 GPU 集群时，后端网络架构需具备高性能、无损传输及可预测性等特性。DriveNets 网络云 AI 是一款分布式网络操作系统（NOS）。该解决方案可管理调度式网络架构，为大规模 AI 网络提供顶级性能，单个集群最多可支持 3.2 万个 GPU（单 GPU 带宽最高 800Gbps），兼容所有 GPU 厂商设备及以太网网卡。

这款调度式 AI 背板网络支持无拥塞运行，无论集群规模多大，任意 GPU 到另一 GPU 均仅需一跳以太网传输。它能提供可预测的无损连接，且大规模故障恢复速度可达微秒级。因此，在大规模 GPU 集群的 AI 工作负载中，作业完成时间（JCT）可实现超 10% 的提升，该效果已得到验证。

本文档介绍 DriveNets 网络云 AI 的功能特性，并展示面向 8000 GPU 集群的高层参考设计，每个 GPU 配备 400Gbps 以太网连接。该设计围绕网络分段、高性能架构及可扩展拓扑展开，均针对大规模 AI 部署的独特需求优化。

主要内容：

1. GPU 集群网络架构
2. 示例 —— 构建 8192 GPU 集群

3.1. 网络配置
3.2. 脊交换机数量计算

4. 机柜高度与数据中心布局
5. 参考架构

5.1. 400G 平台
5.2. 800G 平台

6. 线缆与光模块

6.1. 叶交换机 - 脊交换机连接
6.2. 叶交换机 - 节点连接

7. 总结

1. GPU 集群网络架构

8000 节点高性能 GPU 集群采用两层叶脊网络拓扑，依托 DriveNets 网络云 AI 的能力，为 AI 应用实现最优性能与可扩展性。

叶层由搭载博通Jericho3-AI 处理器的 DriveNets NCP5-AI 叶交换机组成；脊层由搭载双博通Ramon3 处理器的 DriveNets NCF2-AI 脊交换机组成。NCP5-AI 叶交换机负责服务器机柜内 GPU 间的高效通信，而配备高性能博通Romon3 处理器的 NCF2-AI 脊交换机，则负责整个集群的流量路由。

项目	NCP5-AI（叶交换机）	NCF2-AI（脊交换机）
网络接口	18 个 800G OSFP 端口	128 个 800G / 256 个 400G OSFP 端口
架构接口	20 个 800G / 40 个 400G OSFP 端口	128 个 800G / 256 个 400G OSFP 端口
交换容量	30.4Tbps（14.4T 以太网 + 16T 信元交换）	102.4T 信元交换
交换芯片	博通Jericho3-AI	2× 博通Ramon3

叶层：每台 NCP5-AI 交换机直接连接多台 GPU 服务器，交换容量达 30.4Tbps。交换机配备 18 个端口，可配置为 800Gbps 或 36 个 400Gbps 端口，可根据 GPU 连接需求灵活调整。NCP5-AI 采用 20 个 800G 信元交换端口，实现与脊层的高带宽上行连接，且 800G 端口可拆分出 40 个 400G 接口。

脊层：NCF2-AI 交换机采用信元交换技术，实现叶交换机间流量路由与高效负载均衡。交换容量高达 102.4Tbps，配备 128 个 800G 信元交换端口，同样可拆分出 400G 接口。端口拆分功能提升了脊交换机的端口基数，最多可连接 256 个叶节点。在全 800G 带宽配置下，该设计可支持集群内 3.2 万个 GPU 连接。

2. 示例 —— 构建 8192 GPU 集群

依托 DriveNets 网络云 AI 操作系统，以及 NCP5-AI、NCF2-AI 交换机的端口拆分能力，该参考设计具备极强的网络可扩展性。基础配置下，网络可支持 4608 个 800Gbps 带宽的 GPU 连接；利用叶交换机 400G 端口拆分功能，最多可连接 9216 个 GPU（通常仅使用 36 个叶端口中的 32 个，实际连接 8192 个 GPU）。此外，多层脊交换机功能可将网络扩展至最多 3.2 万个 800G GPU 连接。

本节详细介绍如何构建高性能 GPU 集群，支持 8192 个 GPU，每个 GPU 配备 400Gbps 连接，充分发挥 DriveNets 网络云 AI 操作系统及 NCP5-AI 叶交换机的可扩展性。

3.1. 网络配置

1）叶交换机：本设计采用 256 台 DriveNets NCP5-AI 叶交换机，单台交换容量 30.4Tbps，专为 AI 工作负载优化。

2）叶交换机配置

GPU 连接：每台 NCP5-AI 交换机直接连接多个 GPU。为最大化 GPU 接入数量，每台叶交换机启用 18 个 800Gbps 端口中的 16 个，通过 DriveNets 端口拆分功能，将其拆分为 32 个 400G 端口。该配置使每台叶交换机可支持 32 个 GPU，每个 GPU 独享 400Gbps 连接带宽。
架构连接：GPU 流量仅需 32 个上行端口，实际启用 36 个架构端口，用于冗余备份（N+1），并承载博通内部信元控制数据包的额外流量。其中 32 个端口用于 GPU 流量传输，剩余 4 个端口用于冗余备份及信元开销传输。

3）脊交换机：脊交换机数量由叶交换机总上行带宽决定。

3.2. 脊交换机数量计算

总上行端口数：叶交换机数量（256 台）× 单台叶交换机架构端口数（36 个）=9216 个 400Gbps 上行端口。
脊交换机数量：单台脊交换机可承载单台叶交换机 256 个 400Gbps 拆分端口的连接，所需脊交换机数量 = 36 台。

4. 机柜高度与数据中心布局

GPU 集群数据中心部署方案各有差异，但功耗与机柜尺寸是关键考量因素。本参考设计采用保守方案，假设单机柜最大功耗 25kW，使用标准 48U 机柜，该配置符合英伟达 HGX H100 等高性能 GPU 主机的通用部署规范。

解决方案包含四大核心组件：

计算机柜：内置 GPU 节点与叶交换机，为集群提供算力支撑。本参考设计配置为每机柜 2 个 GPU 节点，每个节点支持 16 个以太网 GPU（每节点 8 个 GPU）。该配置符合主流数据中心部署惯例，单台英伟达 HGX H100 高性能主机功耗约 11kW，叠加网络与管理交换机，整柜功耗 22kW-25kW。单台叶交换机支持 32 个 400G GPU，每 2 个计算机柜对接 1 台 DriveNets NCP5-AI 叶交换机。
脊交换机机柜：内置脊交换机，每机柜可容纳 6 台 DriveNets NCF2-AI 脊交换机。此类机柜通常部署在数据中心中心区域，所有搭载 GPU 节点与叶交换机的计算机柜，均需与网络中每台脊交换机建立连接。
主机网卡 - 叶交换机连接：机柜内及机柜间 GPU 与叶交换机的连接，可采用低成本直连铜缆（DAC）替代光纤，降低功耗与成本。本设计中，单台 NCP5-AI 叶交换机配置 16 个 400G 机柜内连接、16 个 400G 邻柜连接。
叶交换机 - 脊交换机连接：每台配备叶交换机的机柜，分配 36 个 400G 链路用于连接脊交换机。脊交换机部署在独立机柜（标准 48U），每机柜容纳 6 台 DriveNets NCF2-AI 脊交换机。该设计确保每台叶交换机通过 1 条 400Gbps 链路连接至每台脊交换机，单台叶交换机与每个脊交换机机柜建立 6 个 400G 连接。

5. 参考架构

800G GPU 端口	400G GPU 端口	叶交换机（NCP）数量	脊交换机（NCF）数量	架构层级
400G 平台
-	128	4	3	两层
-	512	16	12	两层
-	1536	48	36	两层
800G 平台
1024	2048	64	8	两层
2048	4096	128	18	两层
4096	8192	256	36	两层
8192	16384	512	216（144+72）	三层
16384	32000	1024	432（288+144）	三层
32000	-	2048	864（576+288）	三层