AI 数据中心的性能优化与扩展策略

训练大型语言模型的运算需求，是现代数据中心面临的最大挑战之一。训练像 GPT-4 这样的先进模型，需要数千个互连的运算节点协同工作，这也让网络性能成为影响成本效率的关键因素。研究显示，训练 GPT-4 规模的模型大约需要三个月时间和 1 亿美元成本，而其中约 3000 万美元的成本，因 GPU 等待数据时的闲置被浪费。这种低效率源于分布式多 GPU 服务器架构中的带宽限制，较慢的服务器间连接造成资源瓶颈，进而影响整个训练过程。

除了直接的性能影响，持续的高负载工作状态会给数据中心元件带来巨大压力，导致元件加速老化和网络意外故障。研究在分析最耗资源的大型语言模型训练任务时，记录到高达 43.4% 的失败率。这些故障包含一系列问题，包括任务完成失败、非法内存存取、任务挂起、NVLINK 错误、无效的 DMA 映射、网络错误、CUDA 错误、GPU 驱动程序错误、ECC 错误、连接抖动以及 NCCL 超时。每一种故障模式都意味着系统中存在潜在弱点，可能降低训练效率并大幅增加运营成本。

图 2：前 5% 最耗资源的大型语言模型训练任务的成功率分布，显示 43.4% 的失败率，涵盖各类错误类别，包括内存存取、网络问题和硬件错误。

传统的元件级测试无法识别这些系统性漏洞，因为难以精准模拟实际 AI 训练环境中，流量模式、工作负载分布和硬件互动的复杂相互作用。有效的验证需要在物理层、协议层和应用层，以可测量的精度模拟 AI 工作负载。这种全面的方法，能让网络架构师和设备制造商开展性能基准测试、深入了解系统效率、在部署前识别潜在瓶颈，并优化数据中心基础设施以实现可靠的系统级性能。与领先的 AI 运营商和基础设施供应商合作开发的预封装基准测试应用程序，通过复刻 AI 数据中心的运行行为，为加快基础设施设计和保障可扩展性奠定了基础。

AI 应用对更高带宽和更低延迟的需求，推动了关键技术标准的快速演进。以太网速度预计将从 400 Gbps 和 800 Gbps 四倍提升至 1.6 Tbps 和 3.2 Tbps。同样，PCIe 接口正从第 5 代的 32 GT/s 升级至第 7 代的 128 GT/s—— 吞吐量实现四倍增长。内存技术同步发展，DDR6 和 HBM3 的目标速率为 12.8 GT/s，相较于目前 DDR5 的 8.4 GT/s 规格有大幅提升。铜缆和光纤互连也在不断演进，以支持 224 Gbps 和 448 Gbps 的通道速度，高于目前实现的 100 Gbps。

图 3：技术转折点显示未来三年 AI 数据中心关键技术的演进，包括以太网速度、内存带宽、PCIe 世代和互连能力的提升。

数据速率的大幅提升，放大了与电气噪声、时序抖动和电磁串扰相关的现有挑战 —— 尤其是在操作频率不断攀升、信号完整性裕度持续缩小的情况下。高速以太网和 PCIe 6.0 实现中采用的 PAM4 调制等先进调制技术，虽然实现了更高的数据速率，却在这一过程中降低了信号噪声比。这种权衡需要依托包含前向错误校正机制在内的复杂技术创新，以在严苛条件下维持可靠的性能。PAM4 系统中信号电平之间更小的电压裕度，让这类系统更容易受到噪声和干扰的影响，对设计和验证的精度提出了极高要求。

头部 AI 超大规模企业已开始开发针对自身特定工作负载需求定制的 AI 芯片，将其作为降低成本、优化性能特性的策略。这种向应用专用硅芯片发展的趋势，大幅提升了对严格测试协议的需求，这些协议不仅要满足不断演进的标准，还需具备验证新型架构的灵活性。设计和验证工具必须解决多个领域的挑战：用于印刷电路板和集成电路层级信号与功率完整性模拟的电子设计自动化软件、带宽超过 110 GHz 的超高性能示波器（用于精准测量），以及实现自动化性能验证的合规性测试软件（包括 PCIe、USB Type-C 和 DDR5 规格测试）。

图 4：高性能示波器显示 PAM4 调制信号和眼图，展示验证高速数字设计的先进测量能力，操作速度从 50 Mbps 到 224 Gbps。

现代高速数字设计的复杂性，要求测量仪器配备 10 位元模数转换器以实现卓越精度、具备包括抖动分解在内的进阶分析能力，以及协议感知解码功能。这些工具能让工程师诊断信号完整性问题、优化功率传输网络，并在投入生产前验证产品是否符合规格。随着半导体制造商和网络设备制造商在多 GHz 频率下不断挑战物理极限，完善的验证工具与普通验证工具之间的差距，将直接影响产品的上市时间和可靠性。

随着 AI 数据中心的需求推动对指数级更高带宽和更低延迟的追求，互连技术面临的压力也与日俱增。向 1.6 Tbps 及更高速度的过渡，带来了跨越功耗、热管理和验证复杂性的多重挑战。行业预测显示，到 2029 年，工作在 1.6 Tbps 和 3.2 Tbps 的收发器将主导 AI 应用的数据中心光学市场，对应近 100 亿美元的市场规模。这种大规模部署意味着，即使是性能、可靠性或效率的微小改进，也能转化为显著的竞争优势和运营成本节省。

实现这些更高的收发器速度，需要密切关注 IEEE 和光学互连论坛等组织不断更新的标准。当前的技术实现采用 56 GBaud PAM4 信号，为 800 Gbps 网络实现 112 Gbps 的通道速度，而下一代系统将把通道速度翻倍至 224 Gbps，以实现 1.6 Tbps 的网络速率。这一技术进步带来了复杂的错误校正需求、精密的均衡技术，以及针对各类连接配置和部署场景的全面合规性测试。随着企业研究线性驱动可插拔光学器件和 CPO 等旨在降低功耗、提高集成密度的新兴技术，验证的工作量也进一步增加。

图 5：800G/1.6T 设计周期，从虚拟设计验证到通道 / 互连测试、合规性验证、网络分析、光电子芯片测试和制造验证。

验证单个高速连接，是确保数据中心系统级性能的第一步。验证工作流程包含多个阶段，包括使用模拟工具进行设计和验证、开展通道和互连测试以表征物理层性能、依据行业规格进行合规性测试、在实际流量模式下开展网络级验证，以及建立保障产品质量的制造测试流程。每个阶段都需要专用的测量设备和软件，能够分析日益复杂的信号格式和协议行为。光学和电气数字通讯分析仪、取样示波器，通过对 PAM4 信号进行详细分析（包括发射器色散眼图闭合四进制测量、抖动分解和其他关键规格分析），提供确保互连合规、验证信号完整性和优化光学收发器性能所需的精度。

位元错误率测试仪通过支持高达 120 GBaud 速率的高度集成测试解决方案，实现与 PCIe、USB 和以太网等标准的物理层接收器合规性验证。这些仪器能表征物理层性能、验证设计实现，并确认产品是否符合公布的规格。针对高速以太网技术，结合 BERT、前向错误校正和数据包测试解决方案，可在包括 800 Gbps 和 1.6 Tbps 实现在内的各类配置中，验证光学收发器通道的性能。这种全面的测试，确保了产品能在数据中心严苛的运营环境中保持可靠的高速性能，同时保障不同供应商设备之间的互通性。

图 6：宽带宽取样示波器提供从 50 Mbps 到 224 Gbps 高速数字设计的准确和精密测量，显示详细的信号分析能力。

AI 数据中心持续增长的工作负载，对高性能网络及其支撑基础设施提出了极高要求。科技巨头及其他企业预计在未来几年，将在 AI 资本支出上投入超过 1 万亿美元，这也反映出网络能力对企业竞争地位的战略重要性。实现 1.6 Tbps 及更高的网络速度，始于元件层级，需要完善的协议支持和严格的测试以确保可靠性。光学收发器需要在 224 Gbps 速率下，对发射和接收路径进行精准测试，同时开展全面的 1.5 层验证，以确保跨八通道条带传输的数据完整性。前向错误校正数据也需要进行细致核查，验证光学器件是否符合在严苛 AI 网络环境中可靠传输的规格。

在系统层级，避免网络瓶颈、最大化 GPU 利用率，对于维持高效的 AI 工作流程至关重要。GPU 之间不均的工作负载完成速度会造成瓶颈，在分布式训练作业中引发连锁反应，这也凸显了在网络 Fabric 层级开展精准测试和优化的必要性。研究在分析使用集体通信算法的八个 GPU 的工作负载进度时发现，时序变化和不均的完成模式，会导致部分处理单元的完成时间晚于其他单元，增加的延迟会在数千次训练迭代中不断累积。这些低效率问题直接影响 AI 开发的经济性，让本应并行运算的工作变成半序列化的工作流程，导致昂贵的硬件资源未能充分利用。

图 7：测试结果显示多个 GPU 的集体数据传输时间线，说明不均的工作负载完成时间造成瓶颈并降低训练效率。

全方位的端到端网络测试策略，通过全面验证 AI 网络环境中的性能、效率和安全性来应对这些挑战。网络流量生成器能够大规模模拟实际的工作负载模式；应用程序和安全测试工具，验证网络基础设施能否处理现代 AI 系统的资料平面需求和控制平面复杂性；分布式流量模拟器，有助于在影响生产训练作业之前找出瓶颈、低效率点和性能下降问题。通过以可测量的精度模拟实际 AI 工作负载，企业可以在进行昂贵的基础设施投资前，评估算法变更、元件升级和协议优化对 AI 训练性能的影响。

便携式、高性能以太网模拟器，将 1 层位元错误率测试与 2 层和 3 层交换机、路由器性能验证整合在统一的测试平台中。这些系统支持高功率光学器件，并为中间协议层的测量和工作流程提供关键能力，填补了纯物理层表征与应用层级行为之间的空白。云原生网络测试解决方案，通过在实际规模下模拟动态应用流量、用户行为和威胁向量，深入洞察分布式混合网络的终端用户体验、安全态势和性能瓶颈。这种全面的方法，确保网络基础设施能够可靠支撑现代 AI 训练和推理工作负载的复杂、高吞吐量通信模式。

图 8：网络性能测试设备显示测试 800G 协议的界面，展示验证 AI 就绪光学和主动电缆互连的整合能力。

AI 工作负载的扩展越来越受到功率效率和热管理的限制，而非仅仅是运算能力本身。预测显示，到 2030 年，AI 的功率需求将飙升至 652 太瓦时 —— 相较于 2024 年的预计水平增长 8050%。这种能源消耗的指数级增长，源于 AI 模型复杂性的不断提升，进而推动运算节点、存储系统和网络基础设施的能源需求相应增加。许多现有设施的运行功率和冷却负荷已达到或超过设计容量，这成为了进一步扩展的根本性瓶颈。

电气方面的各类挑战，包括串扰、电磁干扰和功率完整性问题，会随着功率传输网络在高负载下的压力增大，导致性能和可靠性下降。AI 加速器中高频切换产生的电气噪声，可能耦合到敏感的信号路径中，形成功率分配和信号完整性之间需要精细管控的复杂相互作用。而热约束可能是现代 AI 数据中心最关键的性能限制因素。冷却系统需持续努力散出高密度硬件部署产生的热量，部分机架的功率密度可达每平方米数十千瓦。这种热负荷不仅会增加运营成本，还会从根本上限制 AI 工作负载的可扩展性，因为它决定了在特定物理空间中可安全部署的运算密度。

优化所有元件和基础设施层级的功率效率、做好功率管理，需要全面的测量和分析能力。集直流电源、负载功能与万用表、示波器、波形发生器和数据记录器能力于一体的功率分析仪，能够进行精准的电压和电流测量，这对于表征功率传输性能至关重要。这些仪器有助于理解功率系统在动态 AI 工作负载下的运行行为，这类工作负载会产生具有复杂频率特征、快速变化的电流需求。配备专用功率分析软件和功率轨探针的示波器，能让工程师通过精准分析噪声、纹波和串扰，快速找到功率完整性问题的根本原因。同时测量功率轨和高速数据信号，能够揭示高速数据走线和高压功率分配之间的串扰，如何影响功率效率和信号完整性。

图 9：功率分析仪显示多个通道的实时电压和电流波形，能够精准表征动态负载下的功率传输网络性能。

在设计阶段，使用电子设计自动化软件开展功率完整性分析并进行优化，能让团队在开发过程早期就解决可靠性和热性能方面的挑战。这些模拟工具能够分析功率传输网络、预测不同运行条件下的产品可靠性，并在物理原型产出前优化热性能。通过简化功率完整性工作流程，在设计阶段而非硬件制造后识别潜在问题，企业可以避免昂贵的重新设计，加快 AI 优化基础设施元件的上市时间。设计阶段的复杂模拟与验证阶段的全面测量相结合，确保功率传输系统能够可靠支撑 AI 工作负载的极端需求。

建设能够承载 AI 工作负载需求的数据中心，需要在完整的系统层级验证每一个元件、连接和配置。由于风险和规模都达到了前所未有的水平，即使是小幅的效率提升、运营改进或性能增强，也能通过减少中断、防止连锁故障创造显著的回报。基础设施优化带来的经济价值，会在 AI 设施的大规模部署中不断累积，因为数千个互连元件必须协同运行，才能为训练和推理工作负载提供所需的吞吐量和可靠性。

适配 AI 工作负载的半导体、网络和数据中心基础设施，需要同等复杂的测试和模拟工具。涵盖所有协议层的完整工具栈组合，包括模拟器和测试硬件，能让企业复刻实际的 AI 工作负载、验证网络元件并优化系统级性能。这种全面的方法，从物理硬件特性到应用层级行为，确保验证工作能够捕捉到决定实际性能的复杂相互作用。通过模拟实际的流量模式、工作负载分布和故障场景，企业可以确信，部署的基础设施既能满足当前的基准要求，也能适应未来的需求，跟上 AI 技术快速演进的步伐。

图 10：Keysight AI 数据中心解决方案框架显示跨四个关键领域的整合 ——KAI Compute、KAI Interconnect、KAI Network 和 KAI Power—— 具体能力包括 DDR/HBM 测试、800G/1.6T 验证、RoCEv2/RDMA 协议、热表征、PCIe/CXL 接口、224G TX/RX 分析、工作负载模拟、功率消耗测量、设计模拟、DCI 验证、基准测试和功率完整性分析。

这种整合方法能够解决运算验证的各类挑战，包括 DDR 和高带宽内存表征、PCIe 和 Compute Express Link 接口验证，以及设计模拟；互连验证涵盖 800 Gbps 和 1.6 Tbps 收发器测试、224 Gbps 发射器和接收器分析，以及数据中心互连验证；网络测试包括 RoCEv2 和 RDMA 协议验证、工作负载模拟和全面基准测试；功率解决方案则解决热负载表征、功率消耗测量和功率完整性分析问题。这种全面的视角，确保优化工作针对的是实际瓶颈而非表面问题，验证流程能够反映最终决定生产性能的系统级相互作用。

实现模拟各类场景、优化所有环节的能力，是确保 AI 数据中心基础设施满足当下严苛要求、同时保持适应未来技术进步灵活性的基础。随着 AI 工作负载的持续演进，数据中心基础设施也必须同步发展，并由能够跟上技术加速转型步伐的验证和优化工具提供支撑。在所有基础设施层级投资全面验证的企业，能够充分挖掘 AI 的转型潜力，同时避免因验证不足的部署带来的昂贵故障和低效率问题。

NOTICE