夜雨聆风学习资料网

ARTICLE · 1012537

AI场景主流Nvidia GPU推荐

AI场景主流Nvidia GPU推荐

现在选AI显卡,先盯住支不支持FP4格式。Nvidia这边起步得看Blackwell架构。

Kimi K3官网权重直接上了MXFP4,DeepSeek4.1 Flash的KV cache也提到了MXFP4。Hopper架构不支持FP4,但能跑FP8,凑合也能用。

普通带宽的GDDR7显存,单卡就能搞定。挑Blackwell架构时,带D结尾的中国特供版千万别碰,RTX 5090D、RTX PRO 6000D都有AI限制。这几款都是GB202核心的刀法切割版,主要差在功耗和算力上:

RTX 5090是32GB G7显存。
RTX PRO 5000有48G或72GB,不过显存位宽缩水了。
RTX PRO 6000系列直接给到96GB G7显存。

跑个qwen3.8-27B这种模型,几万块的机器就非常流畅了。

要是搞HBM高带宽显存加多卡并行,一般得上1机8卡。数据中心里H200是141GB显存,B200是192GB,B300 Ultra更是干到了288GB。国内买B200价格太离谱,国外的倒是可以冲。

原文AI场景主流Nvidia GPU推荐
收录于AI Infra+Agent Infra
作者提示: 个人观点,仅供参考
上海,12分钟前,

相关学习资料