夜雨聆风
AI产业图谱第03期
关键词：NVLink、NVSwitch、Scale-up、GPU互连、AI服务器、NVL72
前两期，我们分别讲了HBM和CoWoS。
HBM解决的是GPU旁边的高速内存问题。
CoWoS解决的是GPU和HBM如何在同一个封装里高速连接的问题。
但当模型继续变大，问题又往外扩了一圈：
一颗GPU再强，也装不下整个AI世界。
大模型训练、长上下文推理、MoE模型、智能体工作流，都需要很多GPU一起工作。于是，AI算力的瓶颈从“芯片内部”走向“芯片之间”。
这时，决定系统性能的就不只是单颗GPU的算力，而是：
多颗GPU之间能不能像一个整体一样协同工作。
这就是本期要讲的核心：Scale-up互连，以及英伟达最重要的GPU互连技术——NVLink。
如果说HBM是GPU身边的高速仓库，CoWoS是GPU和HBM之间的微型城市地基，那么NVLink就是AI服务器和AI机柜里的高速公路。
它决定了GPU之间传数据、同步参数、交换中间结果的速度，也决定了一个AI系统到底是“很多块显卡堆在一起”，还是“一个巨大的计算整体”。
一、为什么AI服务器不能只靠PCIe？
在普通服务器里，CPU、GPU、网卡、SSD等部件通常通过PCIe连接。
PCIe是一种通用接口，优点是生态成熟、兼容性强、成本可控。
但AI训练和推理对GPU互连的要求，远远超过了普通外设通信。
一个大模型运行时，GPU之间需要频繁交换数据。
常见场景包括：
- 张量并行
：一个大矩阵被切到多张GPU上，每一层计算后都要交换结果； - 流水线并行
：模型不同层放在不同GPU上，激活值需要逐层传递； - 数据并行
：多张GPU处理不同样本，反向传播后需要同步梯度； - 专家并行
：MoE模型把不同专家放在不同GPU上，请求会被动态路由； - 推理阶段的KV Cache和专家权重调度
：长上下文和复杂推理会让跨GPU访问更频繁。
这些通信不是偶尔发生，而是和计算交织在一起。
如果GPU之间的数据通道太窄，就会出现一个尴尬局面：
GPU本身很强，但大量时间花在等数据、等同步、等其他GPU。
这就像一座城市建了很多超级工厂，但工厂之间只有几条乡间小路。每个工厂都很先进，但货车堵在路上，整座城市的产出还是上不去。
PCIe可以连接GPU，但它不是专门为GPU之间的大规模低延迟通信设计的。
所以，英伟达在PCIe之外，又做了一套更贴近AI计算需求的高速互连：NVLink。
二、Scale-up和Scale-out到底有什么区别？
讲NVLink之前，先要区分两个经常被混在一起的词：
Scale-up； Scale-out。
它们都可以翻译成“扩展”，但扩展的方向不同。
1. Scale-up：把一个节点或一个机柜做得更像“一台大机器”
Scale-up关注的是近距离、高带宽、低延迟互连。
它通常发生在：
一台服务器内部； 一个计算托盘内部； 一个机柜内部； 一个NVLink GPU域内部。
目标是让多颗GPU尽量像一个统一的大GPU来工作。
在这个范围里，通信距离较短，但对带宽和延迟要求极高。
NVLink和NVSwitch主要服务的就是Scale-up场景。
2. Scale-out：把很多节点连成更大的集群
Scale-out关注的是跨服务器、跨机柜、跨机房扩展。
它通常依赖：
InfiniBand； 高性能以太网； RoCE； Spectrum-X； Ultra Ethernet等网络技术。
目标是把很多AI服务器连接成一个大集群，让训练任务或推理服务可以扩展到几百、几千甚至更多GPU。
可以用一句话区分：
Scale-up解决“一个机柜里GPU怎么抱团”，Scale-out解决“很多机柜怎么组队”。
这两个层次不是互相替代，而是共同构成AI基础设施。
在一套高端AI集群里，通常是先用NVLink/NVSwitch把一个机柜内的GPU组成高带宽域，再用InfiniBand或高速以太网把多个机柜连接起来。
三、NVLink到底是什么？
NVLink是英伟达推出的高速互连技术，主要用于GPU与GPU之间，以及部分CPU与GPU之间的高速通信。
它的核心价值不是“能连接”，而是“以远高于通用接口的带宽和更低延迟连接”。
从形态上看，NVLink可以理解为一条专用高速通道。
它不像PCIe那样服务于各种外设，而是围绕GPU协同计算优化。
在AI场景中，它主要解决三个问题。
1. 提高GPU之间的通信带宽
多GPU训练和推理中，很多操作都需要GPU之间交换数据。
带宽越高，GPU等待通信的时间越短，计算资源越不容易空转。
2. 降低跨GPU访问的延迟
对某些模型并行和推理场景来说，延迟同样重要。
当一次请求需要访问多个GPU上的权重、激活值或缓存时，跨GPU延迟会直接影响响应时间。
3. 支持更大的GPU共享域
如果多个GPU能够通过高带宽互连形成一个统一计算域，系统就能运行更大的模型，或者以更低的通信开销运行复杂并行策略。
这也是NVLink从“服务器内部互连”一路演进到“机柜级互连”的原因。
四、NVSwitch：让GPU从“点对点连接”变成“全互联网络”
单纯的NVLink可以连接GPU之间的点对点通道。
但当GPU数量增加，问题会变复杂。
如果每两张GPU都要直接连接，线路数量会急剧膨胀，拓扑设计也会越来越困难。
这时就需要NVSwitch。
可以把NVSwitch理解为GPU之间的高速交换机。
它的作用是把多条NVLink连接汇聚起来，让多颗GPU之间实现更高效的全互联通信。
在AI训练和推理里，NVSwitch的价值主要体现在：
支持多GPU之间的all-to-all通信； 让不同GPU之间通信路径更统一； 提升集体通信效率； 降低拓扑对模型并行策略的限制； 在更大GPU域里维持接近“单一系统”的使用体验。
英伟达还在NVLink Switch中加入了面向集合通信的加速能力，例如用于归约和多播的SHARP机制。
这意味着部分通信聚合工作可以在网络中完成，而不是完全依赖GPU或CPU处理。
对AI训练来说，梯度同步、参数聚合、MoE路由等操作都可能因此受益。
五、从8卡服务器到72卡机柜：NVLink为什么越来越重要？
早期AI服务器里，8张GPU是一个常见配置。
例如，一台8卡服务器内部通过NVLink和NVSwitch把GPU连接起来，再通过外部网络连接更多服务器。
但到了Blackwell时代，英伟达把Scale-up的范围进一步推到机柜级。
典型代表就是GB200 NVL72。
根据英伟达公开资料，GB200 NVL72在一个液冷机柜中连接：
36颗Grace CPU； 72颗Blackwell GPU； 形成一个72 GPU的NVLink域； NVLink Switch System提供约130 TB/s的低延迟GPU通信带宽； 单颗GPU的NVLink带宽达到1.8 TB/s。
这背后的思想很清晰：
不只是把服务器装进机柜，而是把整个机柜设计成一台AI超级计算机。
对大模型来说，这个变化非常关键。
因为很多前沿模型并不是“单卡跑不动，所以多放几张卡”这么简单。
它们需要在多个维度上拆分：
参数太多，需要拆权重； 激活值太大，需要拆计算； 上下文太长，需要拆缓存； MoE专家太多，需要拆专家； 推理请求太复杂，需要动态调度。
当拆分越来越细，通信就不再是辅助环节，而是核心架构。
这也是为什么AI服务器开始从“服务器级产品”走向“机柜级产品”。
一台服务器是部件集合，一个NVL72机柜则更像一个被软硬件共同设计过的计算单元。
六、NVLink 5、NVLink 6：带宽继续翻倍，但挑战也继续变大
NVLink的演进，本质上是AI模型规模和并行方式演进的影子。
从公开规格看：
这个表里最值得注意的，不只是带宽数字翻倍。
更重要的是，NVLink的目标已经从连接几张GPU，变成连接整个机柜。
第6代NVLink对应Rubin平台，英伟达公开信息显示其单GPU双向带宽可达3.6 TB/s，并且Vera Rubin NVL72机柜总带宽目标达到260 TB/s。
这说明英伟达未来的AI系统路线越来越明确：
单颗GPU继续提升，但系统级性能越来越依赖机柜内互连。
当然，带宽提升并不免费。
它会带来一系列工程挑战：
更高功耗； 更复杂的信号完整性； 更高密度的连接器和线缆； 更复杂的机柜背板设计； 更严苛的液冷要求； 更高的软件调度复杂度； 更难的系统级测试和维护。
所以，NVLink不是单独一颗芯片或一根线，而是一套跨越芯片、交换芯片、板卡、线缆、机柜、散热和软件的系统工程。
七、为什么NVLink是英伟达护城河的一部分？
很多人看英伟达，会先看GPU。
但真正让英伟达难以替代的，不只是GPU芯片，而是围绕GPU建立起来的完整系统。
NVLink正是这套系统里非常关键的一环。
它至少形成了四层壁垒。
1. 硬件协同壁垒
NVLink需要GPU、NVSwitch、CPU、网卡、DPU、主板、机柜、电源和液冷系统协同设计。
单独做出一颗AI芯片，并不等于能做出一个高效率AI机柜。
2. 软件生态壁垒
多GPU通信不是硬件连上就结束。
还需要CUDA、NCCL、TensorRT-LLM、Dynamo、调度系统和模型框架适配。
开发者关心的不是互连协议本身，而是模型能不能稳定、快速、少踩坑地跑起来。
这正是英伟达生态最强的地方。
3. 客户验证壁垒
超大规模云厂商采购AI系统，不只看峰值参数。
它们还要看：
真实训练吞吐； 推理延迟； 集群稳定性； 故障隔离能力； 维护便利性； 能耗和总拥有成本； 软件迁移成本。
这些都需要长期验证。
4. 架构路线壁垒
NVLink让英伟达可以把产品定义从“卖GPU”推向“卖AI工厂模块”。
从H100、H200，到GB200、GB300，再到Rubin平台，英伟达讲的故事越来越不是一块芯片，而是一整套从芯片到机柜、从训练到推理、从硬件到软件的基础设施。
在这个框架里，NVLink是把GPU、CPU和系统连成整体的骨架。
八、NVLink Fusion：英伟达为什么开始“半开放”？
一个有意思的变化是，NVLink过去更像英伟达自家系统里的专用互连。
但到了2025年，英伟达推出了NVLink Fusion。
它的含义是：
允许部分第三方CPU或定制AI芯片，以半定制方式接入英伟达的NVLink和机柜级架构。
换句话说，英伟达并不是把NVLink完全变成开放标准，而是把自家Scale-up能力包装成一个可合作的生态入口。
为什么要这么做？
原因很现实。
越来越多云厂商希望拥有自研芯片：
谷歌有TPU； 亚马逊有Trainium； 微软、Meta等也在推进不同形态的自研AI芯片； ASIC厂商和网络芯片厂商也在切入AI基础设施。
如果英伟达坚持所有部件都必须完全自家闭环，可能会错过一部分半定制AI基础设施市场。
NVLink Fusion的策略更微妙：
允许客户带着自己的CPU或ASIC进来，但关键互连和系统架构仍然围绕英伟达展开。
这既是开放，也是防守。
它让英伟达在云厂商自研芯片浪潮中保留入口，同时继续把NVLink作为AI系统事实标准之一。
九、竞争格局：NVLink不是唯一答案
NVLink很强，但它并不是市场上唯一的Scale-up方案。
AI互连正在形成几条路线。
1. 英伟达路线：NVLink + NVSwitch + CUDA生态
这是当前高端AI训练和推理系统中最成熟、最有商业验证的路线之一。
优势是性能强、软件生态完整、客户部署经验丰富。
劣势是封闭性强，客户对英伟达平台依赖较深。
2. AMD路线：Infinity Fabric、xGMI与开放联盟
AMD在CPU和GPU之间长期使用Infinity Fabric体系，在Instinct GPU和EPYC平台中也有自己的高带宽互连能力。
同时，AMD是UALink等开放互连生态的重要支持者。
它的方向不是复制英伟达闭环，而是尝试推动更开放的AI加速器互连标准。
3. UALink路线：开放Scale-up标准
UALink，全称Ultra Accelerator Link，是面向AI加速器的开放互连规范。
它背后的参与者包括AMD、Intel、Google、Meta、Microsoft、AWS、Apple等产业玩家。
UALink想解决的问题很直接：
如果AI芯片越来越多，云厂商不希望所有Scale-up互连都被单一厂商控制。
开放标准的价值在于：
降低多厂商芯片互联门槛； 给云厂商更多议价能力； 让ASIC、GPU、交换芯片和系统厂商形成更广生态； 避免AI基础设施被单一闭环绑定。
但开放标准也有挑战：
标准落地需要时间； 不同厂商产品节奏不一致； 软件栈不一定成熟； 性能、功耗、可靠性需要大规模验证； 真正的互操作性往往比纸面规范难得多。
所以，UALink代表的是潜在方向，不等于短期内就能完全替代NVLink。
4. 云厂商自研路线：TPU、Trainium和私有互连
大型云厂商往往会为自家芯片设计专用互连。
例如谷歌TPU长期使用自家的互连架构服务于TPU Pod。
亚马逊Trainium也围绕自家云基础设施进行系统级优化。
这些方案未必对外开放，但在自家云里可以形成成本和供应链优势。
它们的逻辑是：
不一定做通用GPU生态，而是为自家最大规模的内部工作负载做定制优化。
这也是英伟达必须重视NVLink Fusion的原因。
十、产业链拆解：NVLink背后有哪些公司和环节？
NVLink看起来是一个互连技术，但背后是一条完整产业链。
1. 核心芯片
包括：
GPU； CPU； NVSwitch或其他Scale-up交换芯片； 网卡； DPU； Retimer、时钟、电源管理等配套芯片。
这里的龙头自然是英伟达。
在非英伟达路线中，AMD、Intel、Google、AWS，以及Broadcom、Marvell等ASIC和网络芯片厂商也会参与竞争。
2. 服务器与机柜系统
进入NVL72这类形态后，产品已经不是普通服务器，而是液冷AI机柜。
系统厂商要解决：
高密度板卡设计； 背板和线缆连接； 电源分配； 液冷管路； 机柜维护； 系统测试； 客户交付。
常见参与者包括Supermicro、Dell、HPE、Lenovo、Foxconn、Quanta、Wiwynn等服务器和ODM厂商。
3. 连接器、线缆与高速材料
高速互连越快，对物理连接越敏感。
线缆、连接器、PCB材料、背板设计、信号完整性，都会影响系统稳定性。
这也是AI服务器带动高速连接器、铜缆、光模块和PCB材料升级的原因。
4. 散热与电源
机柜级Scale-up带来极高功率密度。
没有液冷，很多新一代AI机柜很难稳定运行。
因此，冷板、CDU、泵阀、快接头、冷却液、数据中心液冷改造，也成为AI互连产业链的一部分。
5. 软件与调度
硬件带宽只是上限，真正跑出性能需要软件配合。
关键软件包括：
CUDA； NCCL； TensorRT-LLM； vLLM、SGLang等推理框架； Kubernetes和AI调度系统； 集群管理与故障恢复工具。
未来AI基础设施的竞争，很可能越来越像“硬件系统 + 软件栈 + 运维能力”的竞争。
十一、中国厂商处在什么位置？
在AI芯片国产化讨论里，大家常关注算力芯片本身。
但从系统角度看，Scale-up互连同样重要。
国产AI芯片要进入大规模训练和高端推理，不能只回答“单卡性能怎么样”，还要回答：
多卡之间怎么连？ 跨卡带宽和延迟是多少？ 集体通信库是否成熟？ 模型并行策略是否好适配？ 机柜级系统能否稳定交付？ 故障后能否快速隔离和恢复？
国内厂商在这方面通常会选择几条路径：
自研芯片间互连； 基于PCIe和高速以太网构建多卡系统； 通过RoCE等方式优化集群通信； 在软件层适配主流训练和推理框架； 与服务器厂商共同做整机和集群方案。
短期看，国产方案更容易在特定场景、特定模型和特定客户中落地。
但要挑战英伟达的NVLink生态，难点不只在互连带宽。
真正难的是：
芯片、互连、系统、软件、模型和客户验证必须一起成熟。
这也是AI产业链“粗看是芯片竞争，细看是系统工程竞争”的典型例子。
十二、看懂Scale-up互连，要盯住哪些指标？
如果未来要跟踪NVLink、UALink或其他AI互连方案，可以重点看八个指标。
1. 单GPU互连带宽
这是最直观的参数。
例如Blackwell平台第五代NVLink单GPU带宽达到1.8 TB/s，Rubin平台第六代NVLink公开目标为3.6 TB/s。
2. GPU域规模
一套Scale-up系统最多能把多少GPU组成一个高带宽域？
8卡、16卡、72卡，意义完全不同。
3. 拓扑结构
是否支持全互联？
是否存在明显瓶颈链路？
不同GPU之间通信路径是否一致？
拓扑会直接影响模型并行效率。
4. 集体通信性能
AI训练和推理大量依赖AllReduce、AllGather、ReduceScatter、All-to-All等操作。
纸面带宽高，不代表这些操作一定快。
5. 软件适配成熟度
互连技术最终要被框架调用。
开发者是否需要大规模改代码？
主流框架是否已经优化？
故障时是否容易定位？
这些都会影响客户采购。
6. 系统可靠性
当一个机柜里有几十颗GPU、多个交换芯片、大量线缆和液冷部件，系统可靠性会变成核心指标。
能不能热插拔、能不能部分降级运行、能不能快速维护，都会影响真实可用算力。
7. 能耗与散热
互连不是免费的。
更高带宽意味着更多功耗和更复杂散热。
未来AI基础设施比拼的不只是每秒多少token，也包括每瓦多少token。
8. 开放性与生态锁定
客户越来越关心是否被单一供应商锁定。
NVLink的优势是成熟，挑战是封闭。
UALink的优势是开放，挑战是落地。
这组矛盾会贯穿未来几年AI基础设施竞争。
十三、最新变化：AI互连正在从“性能问题”变成“标准之争”
截至2026年6月，AI互连领域有几条值得持续跟踪的变化。
第一，英伟达正在把NVLink从单机内部推向机柜级架构。
GB200 NVL72和GB300 NVL72代表的是Blackwell时代的机柜级产品，而Rubin平台则继续把NVLink带宽推高。
第二，NVLink Fusion显示英伟达开始用更灵活的方式吸纳第三方CPU和定制ASIC。
这说明英伟达并不只想卖GPU，而是要把NVLink和机柜级架构变成AI基础设施入口。
第三，UALink等开放标准正在形成对NVLink闭环的回应。
它们背后站着很多云厂商和芯片公司，核心诉求是降低对单一厂商的依赖。
第四，推理正在改变互连需求。
过去大家更关注大模型训练，现在长上下文、MoE、智能体、多轮推理和test-time scaling，让推理阶段的跨GPU通信也越来越重要。
这意味着Scale-up互连不再只是训练集群的事情，也会影响推理集群的成本和体验。
十四、一句话总结
NVLink的本质，不是一条更快的数据线。
它是AI基础设施从“单颗GPU性能竞争”走向“机柜级系统竞争”的关键技术。
HBM让GPU拿得到数据。
CoWoS让GPU和HBM能被封装成一颗强大的AI芯片。
NVLink则让多颗GPU能在一个机柜里协同工作，尽量像一个更大的计算整体。
所以，看AI算力产业链，不能只看GPU价格，也不能只看先进制程和HBM。
越往后，越要看这些GPU能不能被高效率地组织起来。
未来几年，AI基础设施的竞争很可能会围绕三个问题展开：
单颗GPU有多强； 一个机柜能组织多少GPU； 多个机柜能不能稳定扩展成真正的AI工厂。
而NVLink，正处在第二个问题的中心。
下期预告
下一期，我们继续往外走一圈：
AI集群的Scale-out网络：InfiniBand、RoCE、Spectrum-X和Ultra Ethernet，谁在连接成千上万张GPU？
如果说NVLink解决的是“一个机柜里的GPU怎么抱团”，那么下一期要讲的，就是“很多机柜如何组成一座AI工厂”。
参考资料
NVIDIA，NVIDIA NVLink and NVLink Switch
https://www.nvidia.com/en-us/data-center/nvlink/NVIDIA，NVIDIA GB200 NVL72
https://www.nvidia.com/en-us/data-center/gb200-nvl72/NVIDIA，NVIDIA GB300 NVL72
https://www.nvidia.com/en-us/data-center/gb300-nvl72/NVIDIA，NVIDIA Vera Rubin Platform
https://www.nvidia.com/en-us/data-center/technologies/rubin/NVIDIA，NVIDIA Vera Rubin NVL72
https://www.nvidia.com/en-us/data-center/vera-rubin-nvl72/NVIDIA，NVIDIA NVLink Fusion
https://www.nvidia.com/en-us/data-center/nvlink-fusion/UALink Consortium，Ultra Accelerator Link
https://www.ualinkconsortium.org/Investors Business Daily，AI Leader Nvidia To Sell Hybrid Systems Using Rival Chips
https://www.investors.com/news/technology/nvidia-stock-nvidia-to-sell-hybrid-systems-using-rival-chips/Tom's Hardware，Arm joins Nvidia's NVLink Fusion ecosystem
https://www.tomshardware.com/tech-industry/arm-joins-nvlink-fusion-ecosystem-arms-clients-to-get-access-to-nvidia-gpusarXiv，DWDP: Distributed Weight Data Parallelism for High-Performance LLM Inference on NVL72
https://arxiv.org/abs/2604.01621
注：本文为产业科普与公开资料整理，不构成投资建议。相关产品参数和路线图以公司最新披露为准。资料更新截至2026年6月24日。
