夜雨聆风学习资料网

ARTICLE · 1084770

一台AI服务器5000万,但真正花钱的是让它跑起来

一台AI服务器5000万,但真正花钱的是让它跑起来

5000万的英伟达NVL72机柜,
贵的不只是硬件,是让它跑起来的整套环境

英伟达最新的 Vera Rubin NVL72 机柜,整柜 72 颗 GPU,售价预估 780 万美元,折合人民币 5000 多万。很多人看到这个数字,第一反应是"硬件真贵"。但今天我想换个角度聊——硬件贵是明面上的账,真正的成本在后面。

先说这台设备的基本情况

Vera Rubin NVL72,整柜 72 颗 Rubin GPU,36 颗 Vera CPU,每颗 CPU 有 88 个自研核心。GPU 和 CPU 通过 NVLink 协议高速互联,内存和显存虽然物理上是两套,但可以在统一地址空间下互相访问。

指标
数值
HBM4 内存总容量
约 20.7 TB
总带宽
最高每秒 1580 TB(≈158 万 GB)

这个数字什么概念?你电脑装几块硬盘也能凑出 20TB 的容量,但带宽连它的零头都不到。数据从内存送到 GPU 的速度,决定了 GPU 能不能满负荷运转。普通硬盘是在仓库里慢吞吞找货,HBM 是拿高压水枪往 GPU 嘴里猛灌。

但这台性能猛兽,不是插上电就能跑的

① 散热

单柜功率超过 120 千瓦,一个普通家庭的用电功率大概 5 到 10 千瓦。这一台机柜的耗电,相当于十几户人家同时开空调。它需要全液冷散热,进水温度要控制在 45 度,流量、压力、水质都有严格标准。传统风冷根本扛不住。

② 供电

它需要双路市电加 UPS 加柴油发电机。断电一秒,几十万的 GPU 可能就废了。电压波动不能超过正负 5%,否则数据丢失、设备损坏。

③ 环境

恒温恒湿、无尘、防静电、防电磁干扰、防火防水、智能安防。温度要控制在 22 度左右,湿度 40% 到 60%,灰尘要过滤,静电要防护。这些条件,普通场地根本做不到。

④ 空间

机柜内的空间寸土寸金。机柜内服务器之间的距离多 10 厘米,连接稳定性、材料选择、维护方式全变,成本指数级上升。所以你在网上看到的机柜和服务器内部元器件,都是密密麻麻挤在一起。不是想抱团取暖,是空间真的不够。

那这些跟做机房的人有什么关系?

关系很大。很多人问我"有场地有电能不能做算力",我从来都是先问一句:你的场地,能伺候得了这台 5000 万的设备吗?

硬件贵,是花钱能解决的问题。运行环境贵,是花钱都不一定能解决的问题。正规算力机房为什么贵?贵的不只是设备,是让设备稳定跑起来的那整套环境。

有在考虑算力机房或者机房托管的,先把运行环境这笔账算清楚。

仅行业经验分享,不构成投资建议。
有资源想评估的,可以私信我。

相关学习资料