ARTICLE · 1282985
AI 数据中心里,看不见的纳秒级电力扰动该如何捕捉?
点击蓝字 关注我们
主页右上「· · ·」添加星标 更新不错过！
当您的数据中心的电源监控
无法满足您的 AI 工作负载要求时
会发生什么情况？
当今最大的 AI 部署可以覆盖数万个图形处理单元 (GPU)，不仅具有巨大的计算能力，而且运行条件也会随之改变。随着工作负载的上升或下降，服务器电源系统必须响应不断增长的动态需求。结果是处理器电源轨上出现压降、过冲和其他瞬态事件，其中许多事件以纳秒为单位发生（如图 1 所示）。
图 1 服务器机架中的纳秒级瞬态事件
看不见的功耗事件的影响越来越大
企业服务器、测试和测量设备、无线基础设施和其他系统长期以来一直依赖于遥测技术，以便为工程师提供有关电压、电流、功率、温度和整体系统运行状况的实时信息。但是，其中许多系统过去以毫秒级间隔或更长时间运行，与处理器电源轨上当前发生的瞬态事件以及用于观察这些事件的工具相比，这种差异达到了六个数量级。
虽然目前存在纳秒级遥测功能，但其中许多事件可能发生在复杂的工作流程中，导致代价高昂的断电或意外停机，通常不会出现在现有的遥测系统上。
在眨眼的时间（约 100 毫秒），服务器就会遇到几纳秒级的电气事件。如果不被检测到，它们可能会触发重置，重新测试、分类、限制和中断工作负载，从而降低 AI 计算性能和利用率，代价巨大。最近，Uptime Institute 报告说，57% 的主要中断成本超过 10 万美元，每五个中断中就有一个超过 100 万美元。
我从数据中心工程师那里听说过类似的故事：培训群集遇到间歇性错误，这使重要的运行停滞不前，但其发生频率不足以按需重现。传统的遥测工具显示系统运行稳定，电源、温度和利用率均正常，无法提供导致问题的根本原因线索。
传统上，高速检测技术规模太大、耗电量大、成本高昂，无法部署在数千个服务器机架上。如果没有它，技术人员就需要手动调试问题，有时要花费数小时甚至数天时间，逐一排查硬件、固件和系统日志，才能定位到问题背后持续仅纳秒级的瞬态现象。
电源监控速度越快，
故障排除效果越好
连续的纳秒级监控可在事件发生时捕获“不可见”事件。通过提供即时根本原因分析和预防性维护所需的可操作数据，工程师可以在早期预警信号升级为代价高昂的系统故障之前发现这些信号。
虽然这种详细程度很重要，但高容量数据的持续流式传输不可避免地会使存储和网络带宽不堪重负。基于事件的远程遥测通过连续监测环境并仅报告粒度的高速瞬态事件来应对挑战，而不会增加过多数据负担。
TI 负责数据转换器和时钟的副总裁 Karthik Vasanth 表示：“技术人员寻找故障就像大海捞针。工程师设定好参数，芯片便负责在海量数据中进行搜索。”
但这有一个更大的好处。瓦桑特表示，监控这些纳秒级事件是“数据中心可靠性的先驱或前提”。换句话说，这种可见性级别使工程师能够提前发现故障，而不仅仅是对故障做出反应。
图 2 采用 TI 的新纳秒级技术，基于事件的远程遥测
检测纳秒级功率事件
光本身在一纳秒内就能移动近一英尺，速度足够快，服务器在一毫秒内就能遇到数千个事件。以这种速度和精度检测事件通常超出了用于监控数据中心的遥测系统的功能。
TI 的 ADC34DSO75 射频 (RF) 采样模数转换器 (ADC) 具有 3GSPS 性能，可提供 24/7 纳秒级事件远程遥测功能。通过利用先进的模拟设计和集成数字信号处理器，ADC34DSO75 可以实时处理和优化信号，同时还降低现场可编程门阵列 (FPGA) 的复杂性和成本。它将 68dBFS 的信噪比 (SNR) 与低相位和振幅噪声相结合，功耗是同类竞争解决方案的一半。
当处理器运行电压小于 1.2V 时，电气事件可以记录为微伏或毫伏。识别很小的事件需要计时和电压分辨率，从而使 SNR 和动态范围与原始采样速度一样重要。
ADC34DSO75 的可配置、集成式事件检测和捕获功能使工程师能够根据其具体需求定制监测。通过八路 SPI 低速流式传输到 MCU，有助于消除对昂贵的功耗密集型 FPGA 的需求，并简化整体架构。
TI 还开发了一个围绕 ADC34DSO75 构建的模块上系统 (SOM) 板 (图 3)。该八通道板使用两个数据转换器以纳秒分辨率测量处理器内部的八个电压，每个转换器处理四个通道。该板包括一个 MCU 和闪存，用于存储事件数据，因此如果实际断电，信息会保留在卡上，以便以后轻松检索。设计人员能够在大约 10mS 的时间内以 200Mbps 的速率卸载整个板载存储器，从而在不中断操作的情况下快速访问事件数据。
图 3 TI 的八通道 SOM 能够以纳秒分辨率
测量处理器内部八个电压
作为第一种提供纳秒级、基于事件的远程遥测的解决方案，1 英寸 x 2 英寸 SOM 使数据中心设计人员能够以同类竞争解决方案的尺寸、功耗和成本的一小部分实现更高水平系统性能。远程事件报告消除了派遣现场技术人员或连接示波器对事件进行故障排除的需要，从而最大程度地减少停机时间并降低物理硬件访问的安全风险。
实时电源监控的未来
随着 AI 计算密度和功率需求的增加，对持续高分辨率监控的需求已经远远超出了数据中心的需求。在自动测试设备中，这种级别的监控可防止纳秒级干扰使测试验证偏斜并导致错误。在无线基础设施领域，工程师可以跟踪会降低信号质量的瞬态事件，尤其是在 5G 和 6G 遥测系统中。
展望未来，将纳秒级监控与系统智能相结合，将实现预测性故障检测和自主系统管理。可靠性标准不断提高。数据中心设计越来越需要满足汽车级可靠性标准，在某些情况下，运营商的目标是确保每十亿件产品的可靠性。随着电子产品变得越来越复杂，应对稳定性挑战的能力完全取决于超精细的可见性。
点赞·收藏·推荐 洞见·行业·前沿
