ARTICLE · 1084778
一台AI服务器5000万,但真正花钱的是让它跑起来
5000万的英伟达NVL72机柜,
贵的不只是硬件,是让它跑起来的整套环境
英伟达最新的 Vera Rubin NVL72 机柜,整柜 72 颗 GPU,售价预估 780 万美元,折合人民币 5000 多万。很多人看到这个数字,第一反应是"硬件真贵"。但今天我想换个角度聊——硬件贵是明面上的账,真正的成本在后面。
先说这台设备的基本情况
Vera Rubin NVL72,整柜 72 颗 Rubin GPU,36 颗 Vera CPU,每颗 CPU 有 88 个自研核心。GPU 和 CPU 通过 NVLink 协议高速互联,内存和显存虽然物理上是两套,但可以在统一地址空间下互相访问。
这个数字什么概念?你电脑装几块硬盘也能凑出 20TB 的容量,但带宽连它的零头都不到。数据从内存送到 GPU 的速度,决定了 GPU 能不能满负荷运转。普通硬盘是在仓库里慢吞吞找货,HBM 是拿高压水枪往 GPU 嘴里猛灌。
但这台性能猛兽,不是插上电就能跑的
① 散热
单柜功率超过 120 千瓦,一个普通家庭的用电功率大概 5 到 10 千瓦。这一台机柜的耗电,相当于十几户人家同时开空调。它需要全液冷散热,进水温度要控制在 45 度,流量、压力、水质都有严格标准。传统风冷根本扛不住。
② 供电
它需要双路市电加 UPS 加柴油发电机。断电一秒,几十万的 GPU 可能就废了。电压波动不能超过正负 5%,否则数据丢失、设备损坏。
③ 环境
恒温恒湿、无尘、防静电、防电磁干扰、防火防水、智能安防。温度要控制在 22 度左右,湿度 40% 到 60%,灰尘要过滤,静电要防护。这些条件,普通场地根本做不到。
④ 空间
机柜内的空间寸土寸金。机柜内服务器之间的距离多 10 厘米,连接稳定性、材料选择、维护方式全变,成本指数级上升。所以你在网上看到的机柜和服务器内部元器件,都是密密麻麻挤在一起。不是想抱团取暖,是空间真的不够。
那这些跟做机房的人有什么关系?
关系很大。很多人问我"有场地有电能不能做算力",我从来都是先问一句:你的场地,能伺候得了这台 5000 万的设备吗?
硬件贵,是花钱能解决的问题。运行环境贵,是花钱都不一定能解决的问题。正规算力机房为什么贵?贵的不只是设备,是让设备稳定跑起来的那整套环境。
有在考虑算力机房或者机房托管的,先把运行环境这笔账算清楚。
仅行业经验分享,不构成投资建议。
有资源想评估的,可以私信我。