ARTICLE · 1012537
AI场景主流Nvidia GPU推荐
AI场景主流Nvidia GPU推荐
现在选AI显卡,先盯住支不支持FP4格式。Nvidia这边起步得看Blackwell架构。
Kimi K3官网权重直接上了MXFP4,DeepSeek4.1 Flash的KV cache也提到了MXFP4。Hopper架构不支持FP4,但能跑FP8,凑合也能用。
普通带宽的GDDR7显存,单卡就能搞定。挑Blackwell架构时,带D结尾的中国特供版千万别碰,RTX 5090D、RTX PRO 6000D都有AI限制。这几款都是GB202核心的刀法切割版,主要差在功耗和算力上:
RTX 5090是32GB G7显存。
RTX PRO 5000有48G或72GB,不过显存位宽缩水了。
RTX PRO 6000系列直接给到96GB G7显存。
跑个qwen3.8-27B这种模型,几万块的机器就非常流畅了。
要是搞HBM高带宽显存加多卡并行,一般得上1机8卡。数据中心里H200是141GB显存,B200是192GB,B300 Ultra更是干到了288GB。国内买B200价格太离谱,国外的倒是可以冲。
原文AI场景主流Nvidia GPU推荐
收录于AI Infra+Agent Infra
作者提示: 个人观点,仅供参考
上海,12分钟前,