ARTICLE · 1252015
一次同步迭代,从GPU抖到变电站:AI训练功
一次同步迭代,从GPU抖到变电站:AI训练功
一次同步迭代,从GPU抖到变电站:AI训练功
一个72卡的AI训练机架,功率每6秒就在128千瓦和45千瓦之间硬跳。边沿只有30毫秒。
换成2万卡的大集群,同相位一起跳,就是23兆瓦的方波直接压给变电站。普通服务器各干各的,波动能互相抵消。大模型训练反着来,所有GPU必须等最慢的那张卡。步调天然对齐,谁也不抵消谁。
这股摆动顺着供电链路一路传到电网。问题是:到底在哪一级把它截住最省钱?
算下来,电源架才是主战场。挂一组超级电容加双向变换器,就能在离负载最近的地方把秒级摆动吃掉。上游的整流柜、配电和变压器,全都能免于热循环。
要是把这活儿全甩给电网,中间一整串设备就得跟着受罪。要是靠空烧算力把功率托住,一年电费白扔两千多万。所以,平滑这笔账,截在电源架最划算。
原文一次同步迭代,从GPU抖到变电站:AI训练功率摆动的全链路账本
广东,1小时前,















































































