海德畅谈| 你的电脑显卡 vs 智算中心 GPU:看懂算力真正的差距

      芯片很大一部分面积，分配给光追核心、视频编解码单元，专门服务游戏、3D 渲染。CUDA 核心、Tensor 核心只是其中一部分。

      定位：短时爆发性能，玩游戏跑几分钟拉满，温度上来就降频保护，适合间歇性工作。

      砍掉大部分游戏图形单元，把绝大部分晶体管全部给到计算核心、Tensor 核心、Transformer 引擎。专门针对大语言模型、矩阵运算做硬件加速。没有游戏 DLSS，不侧重画面输出；部分 SXM 版本甚至没有显示器接口，连接显示器打游戏都做不到。    

      定位：7×24 小时持续满载，几个月不间断高负载运行，不轻易降频。

      通俗比喻：家用显卡是短跑运动员，爆发力强，不适合天天马拉松；智算卡是马拉松选手，适合长期高强度连续干活，短跑反而不一定出彩。

这是最容易被普通人忽略，但企业最看重的点。

      RTX4090：GDDR6X，24GB，带宽约 1TB/s，普通显存。

      H100：HBM3 高带宽显存，80GB，带宽 3.35TB/s。显存带宽几乎是 4090 三倍多，大模型加载权重、KV‑Cache 吞吐差距巨大。

      消费级 RTX：没有 ECC 显存。长时间满载，宇宙射线、电压波动，有可能出现显存比特翻转，产生静默错误，程序不会直接崩溃，但模型算出来结果悄悄出错、训练收敛异常。个人玩 AI 绘图、小模型微调偶尔出错无所谓；但千亿参数训练，一次错误就会毁掉几天的训练成果。

      智算 H100/A100：标配 ECC 显存。实时检测修复显存错误，杜绝静默计算错误，保障几个月连续训练不出脏数据。

      简单理解：ECC 就相当于算力的 “数据保镖”，家用卡没有保镖，智算卡标配保镖。

大模型不是单卡跑，是几十张、几百张卡协同干活，卡与卡之间通信速度，决定集群整体效率。

没有 NVLink。多张显卡之间只能走 PCIe 总线，带宽很低。8 张 4090 集群，多卡通信带宽极低，随着卡数量变多，效率断崖式下跌。8 卡并行实际效能，远不如 8 张 H100。小规模实验可以，上百卡训练完全不现实。

原生支持 NVLink 4.0 + NVSwitch 交换芯片。单机 8 张卡全互联，卡间双向带宽 900GB/s；再配合 IB 高速网络，可横向扩展到成千上万张卡协同工作，性能近乎线性扩展，支撑 GPT‑3 级别万亿参数预训练。

      RTX 多张卡之间，相当于走乡间小路；

      H100 NVLink 相当于宽阔运河，大批量数据高速流转。

很多人以为 CUDA 驱动通用，实际两套驱动功能集完全不同。

Game‑Ready 游戏驱动。更新频繁，优先优化新游戏，版本迭代快。没有 MIG 切分、DCGM 运维工具。

      Data‑Center 数据中心专用驱动。版本迭代慢，追求长期稳定，经过严苛认证。

      支持 MIG：一张物理显卡切分成最多 7 个独立虚拟 GPU，分给多个人同时使用，提升算力利用率。

      DCGM 整套运维工具：远程监控每一张卡温度、功耗、错误计数，故障隔离，适合上万张卡集群自动化运维。

数据中心驱动不能跑游戏，游戏驱动也无法完整释放 H100 全部企业功能，二者不能混用。

家用显卡和智算卡，物理形态、设计目标完全不一样。

      RTX4090：PCIe 插卡，带风扇，给台式机箱使用。

      H100 分两种：PCIe 版：插服务器插槽；SXM 模块：不是普通插卡，直接扣在 HGX 主板基板上，需要整机柜定制液冷散热，普通家用主板根本装不上。

      消费卡：约 5 万小时，面向每天几小时使用的个人用户；

      智算卡：>10 万小时，设计目标 7×24 全年不间断运行，适配机房无人值守环境。

      家用机箱风冷即可；

      大规模 H100 集群，普遍采用冷板式液冷，机柜功耗几十千瓦级别，普通家用供电完全扛不住。

RTX4090：

H100：

误区：

      个人学习、AI 绘图、7B‑13B 模型 LoRA 微调、小规模 demo 推理。

      适合开发者做实验，不适合做千亿参数大模型预训练、企业核心生产集群。

      大模型从零预训练、大规模全量微调、多租户云算力、7×24 小时生产推理，几百上万卡集群协同。

      现实行业现状：不少初创团队会先用 4090 做算法验证，原型跑通之后，上生产环境，再迁移到数据中心 GPU。家用卡做实验，智算卡做生产，二者是互补，而不是替代。