ARTICLE · 1078589
曙光8000十万卡AI超集群:关键技术攻关解析
曙光8000十万卡AI超集群:关键技术攻关解析曙光8000(登峰)是国内首个全国产十万卡AI超集群,规模参数本身即是设计约束:10万+张国产智能计算芯片、13440个计算节点、30多亿个电子元器件、互连线缆总长超1600公里、系统总重约1500吨,结构组装精度控制在0.05毫米以内。 
十万卡级的核心难点不是"堆卡",而是三重复合约束: 系统复杂度陡增——计算、通信、存储、散热任一环节的短板都会被规模放大为整体性能折损; 故障概率提升——节点数增加使单点故障成为常态而非例外; 基建成本反转——十万卡级集群中网络、液冷、电力、机柜投入占比首次超过计算卡采购成本。 
曙光8000液冷设计因此必须回答三个问题:用什么介质、以什么相态、在什么界面层级把热量搬出芯片。 系统架构:浸没式相变液冷的两相闭式循环设计方案选择浸没式相变液冷作为主散热架构,核心原理是利用冷却液的沸腾潜热而非显热。公开的工程参数给出清晰的热力学窗口:所选氟化液沸点约50℃,而设备运行温度区间为80-90℃。两者之间约30-40℃的正温差裕度,保证芯片持续产热时冷却液能稳定进入核态沸腾而不会过热失控。 
循环设计为闭式两相回路:计算设备整体浸没于绝缘氟化液中,芯片/主板产热使接触液体沸腾汽化,蒸气(携带潜热)经传输管道进入外部冷凝器,冷凝放热后重新液化为氟化液回流至浸没槽,形成"沸腾—冷凝—回流"的自我循环。 该架构的设计收益是结构性的: 二、芯片级界面:金刚石铜材料+裸片直接焊接 
浸没解决了"系统到流体"的传热,芯片到散热器的界面热阻则决定结温底线。 设计采用两项材料/工艺创新: 1.金刚石铜(DCC)作为散热体材料,全球首次十万卡级大规模应用。 DCC材料体系热导率可达500-1000 W/m·K(商业化牌号600-800,实验室熔渗工艺已达943),远超纯铜的约398;更关键的是热膨胀系数可通过金刚石体积分数与粒径级配在4-10 ppm/K间调节(常用5-7 ppm/K),与芯片封装CTE匹配——解决纯铜"导热优异但CTE失配导致界面热应力与疲劳"的经典矛盾。 金刚石与铜润湿角约145°不润湿,需通过界面镀层(W/Ti/Cr等碳化物层100-300nm)改善浸润,这正是该材料长期停留在实验室而难以量产的原因,曙光8000将其推入十万卡级工程化,意味着界面改性工艺与良率控制已跨过规模门槛。 2.散热器直接焊接于芯片裸片,消除TIM层。 传统方案中芯片与散热器之间依赖硅脂/相变材料等TIM填充微观间隙,而TIM老化泵出、干涸是长期可靠性的最大变量。 将散热器直接焊接在芯片裸片上,以金属键合替代机械接触,从结构上消除TIM层及其退化路径,把"芯片-散热器"接触热阻压到最低。 代价是焊接热应力必须由DCC的CTE可调性来消化——材料设计与工艺路线在此互为前提,这是该方案的核心设计闭环。 三、流体与材料工程:绝缘介质、密封与泄漏管控 浸没架构对流体与系统密封提出额外设计约束: 介质绝缘性:冷却液直接接触芯片、主板、内存等带电部件,必须为高绝缘氟化液,以"全方位包裹"替代"风冷隔绝",消除短路风险的同时也省去了散热器的电气隔离设计; 材料相容性:氟化液场景下密封件/管路材料须选用FFKM/FKM等特种弹性体(普通EPDM在氟化液中长期浸泡易溶胀失效),浸没槽、管路、冷凝器金属件需与介质化学相容; 泄漏与状态监控:BMC层集成冷媒泄漏检测、液冷系统压力监控、液位检测及电磁阀状态监控,配合数字孪生运维平台实现系统可用性99.99%,覆盖芯片、节点、液冷系统全域——两相系统对泄漏的容忍度远低于单相,密封与监测必须进入运维自动化闭环。 五、能效与工程 收益设计目标的量化验证:PUE低至1.04(几乎全部电力用于计算),WUE近乎为零(闭式循环不消耗淡水),综合能耗较传统风冷降低约40%,年最大减少碳排放约4万吨; 液冷还大幅缩减设备占地空间,并因无高转速风扇而显著降低噪声与振动故障源。 国产冷媒与全链路国产化(芯片、计算、存储、网络、散热)使该方案不依赖进口介质供应链。 作者的感悟: 曙光8000液冷设计的工程范式可概括为"两条物理路径的叠加":系统层面用两相沸腾潜热把热流密度问题降维,芯片层面用CTE匹配的金刚石铜+裸片焊接把界面热阻清零。 前者解决"热量怎么搬",后者解决"热阻怎么压",再以绝缘介质、材料相容与BMC泄漏监控兜底可靠性。 这一组合在十万卡级首次规模化验证,为超高功率密度AI集群的散热设计提供了可复制的工程参考。
Thermal Mentor


一、系统架构:浸没式相变液冷的两相闭式循环

换热系数跃升:沸腾相变的对流换热系数比单相液冷高1-2个数量级,可在极小温差下带走kW级热流; 无泵依赖的局部传热:沸腾产生的气泡自然驱动流体运动(热虹吸效应),降低对高扬程泵组的依赖,也减少了泵振动与密封泄漏风险点; 机房免制冷:热量在冷凝器侧集中排放,机房内不再需要为"机器"降温的空调——公开表述为"空调为'人'服务",实现全年自然冷却。
