夜雨聆风
━━━━━━━━━━━━━━━━━━━━
你以为买显卡跑大模型就是比显存、比价格、比带宽？
2026 年最大的坑不在硬件参数里——在软件生态里。
同样瞄准 ~96GB 显存（能更舒服地跑 70B+、长上下文或更高精度量化模型的容量段），3 万到 8 万预算，你以为花钱就能用。实际上每条路都有坑，而且坑的位置完全不同。（价格为截至 2026-05 国内渠道大致价，实际浮动较大。）
先说清楚一件事：这篇讨论的是普通人/小团队能放进办公室或家里的学习卡，不是数据中心卡。
真正的数据中心卡是另一套世界：H100/H200、B200/B300、AMD MI300X/MI350X 这类卡，单卡几十万起步，通常不是插进普通主板就完事，而是整机柜、专用散热、高功耗电源、企业驱动、集群网络一起卖。B200 这种卡一张就是 192GB HBM3e，带宽按 TB/s 算，还带消费/工作站 Blackwell 没有的 TMEM；MI300X 单卡 192GB HBM3，定位也是服务器集群。它们当然强，但体积、功耗、价格、采购渠道都不是普通人买来放桌子底下的东西。
所以 B200/MI300X 和本文这些学习卡路线不能直接拿来比，前者是数据中心设备，后者才是普通人真正要面对的选择。
企业也是一样：真有钱、真有数据安全需求，那当然直接买数据中心卡和整机柜；如果预算连这套东西都扛不住，又坚持"必须内网私有化"，那就要先问一句——你到底有什么秘密，非得在内网自己算？很多中小企业所谓的"私有化部署"，最后既买不起真正的数据中心硬件，也养不起懂 CUDA/ROCm 的工程师，还不如老老实实买 API，把钱花在业务上。
先给急性子同学一个总览表：
看完这张表你大概有两个反应：第一，"怎么还有这么多型号？"；第二，"为什么每个后面都跟着一个坑？"
NVIDIA 的工作站卡线（RTX PRO 系列）和消费卡线（GeForce RTX）是两条产品线，加上上一代 Ada 架构的库存、AMD 的工作站卡和 DGX Spark 这种异类，排列组合下来选择确实很多。表里没列的还有 RTX 5090（32GB，~¥3万，全世界都知道，不用解释）、RTX 5000 Ada（32GB，~¥2.4万）、RTX PRO 4500（32GB，~¥1.9万）等 32GB 级别的卡，显存不够 96GB 但适合跑中小模型。NVIDIA 工作站线还有 RTX PRO 5000（48GB ~¥3.7万 / 72GB ~¥4.8万），和 PRO 6000 一样同属消费/工作站 Blackwell 路线，软件坑完全相同，只是显存和带宽低一档。
别被型号淹没——核心决策只有三个维度：显存够不够、带宽快不快、软件生态折不折腾。
下面一个一个拆坑。
━━━━━━━━━━━━━━━━━━━━
◆ 坑一：sm_100 vs sm_120/sm_122 —— "Blackwell"不是一个东西
━━━━━━━━━━━━━━━━━━━━
这是 2026 年最容易被忽略、也最致命的坑。
NVIDIA 把 2024-2025 年发布的新架构统一叫"Blackwell"，但这个名字底下藏着两套完全不同的硬件：
- sm_100
（B200/B300）：数据中心 Blackwell。有一个叫 TMEM（Tensor Memory） 的硬件单元，每个 SM 有 256KB 专用张量内存，配套 tcgen05 指令集 - sm_120/sm_122
（RTX 5090 = sm_120，RTX PRO 6000 = sm_122）：消费和工作站 Blackwell。没有 TMEM，不能跑依赖 TMEM / tcgen05 的 sm_100 专用 kernel
💡 翻译成人话：sm_100 和 sm_120 的关系，就像柴油发动机和汽油发动机——都叫"发动机"，但你不能往汽油车里加柴油。
TMEM 是什么？普通 GPU 的张量核心（Tensor Core）做矩阵乘法时，数据要从显存搬到寄存器，算完再搬回去——每次计算都要排队等搬运。sm_100 的 TMEM 相当于给张量核心配了一个专属的"私人仓库"（256KB/SM），数据提前存在里面，算的时候直接拿，不用跟别人抢通道。一块 B200（192GB HBM3e 显存）有 160 个 SM，加起来就是 40MB 的片上快速缓存。配套的 tcgen05 指令集就是操作这个私人仓库的专用命令。
────────────────────
【这跟你有什么关系？】
FlashAttention——大模型推理和训练里最核心的加速组件——有好几个版本：
- FA2
（2023）：给 Ampere/Hopper 写的，兼容 sm_80/sm_89/sm_90 - FA3
（2024）：Hopper H100 专属（sm_90） - FA4
（2025）：数据中心 Blackwell 专属（sm_100），硬件依赖 TMEM
FA4 需要的 TMEM 硬件，在 sm_120/sm_122 的 GB202 芯片上物理不存在。这不是软件锁，不是 fuse bit，不是工具链没适配——是硅片级别的架构差异。
RTX PRO 6000 花 7-8 万，和 5090 同属 GB202 路线（PRO 6000 是更完整的 die、96GB GDDR7 ECC、工作站固件和驱动策略不同）。PRO 6000 的框架侧支持通常按 sm_122 / Compute Capability 12.2 处理，和 5090 的 sm_120 有细微差异，但核心一样：没有 TMEM。FA4 一样跑不了。
消费/工作站 Blackwell 不是完全没有注意力优化，而是走不了 FA4 这条数据中心 Blackwell 路线。你要么退回 FA2 / Triton / 框架自己的特化 kernel，要么等社区和框架一点点补 sm_120/sm_122 支持。问题不在"有没有人能写"，而在"你买卡当天 pip install 下来的那套软件栈能不能直接用"。
老黄切的不是显存，是指令集。这才是真正的产品分级。
━━━━━━━━━━━━━━━━━━━━
◆ 坑二：多卡通信的隐形墙
━━━━━━━━━━━━━━━━━━━━
跑大模型最直觉的思路：显存不够？多买几张卡拼起来啊！
想法没错，但 2026 年的现实是：消费级多卡已经是二等公民。
多卡协同需要两样东西配合：
第一是物理通道——卡与卡之间的数据搬运管道。最快的是 NVLink（NVIDIA 专用高速互联，带宽可达几百甚至上千 GB/s），其次是 PCIe（通用接口，Gen5 约 64 GB/s），最慢的是走 CPU 内存中转。
第二是通信软件库——负责协调"谁先传、传多少、传到哪"。NVIDIA 的叫 NCCL（NVIDIA Collective Communications Library），AMD 的叫 RCCL。
多卡最常见的用法叫 TP（Tensor Parallelism，张量并行）——把模型的每一层横着切开，分到多张卡上。比如 TP=2 就是一个矩阵乘法拆成两半，两张卡各算一半再合并结果。这意味着每算一步都要卡间通信一次，对通道带宽和通信库的可靠性要求极高。
物理通道和通信库，任何一个出问题都玩不了多卡。 不幸的是，消费卡上两个都有坑。
────────────────────
【NVIDIA 这边：P2P 被驱动层软禁】
GPU 之间最快的通信方式叫 P2P（Peer-to-Peer）——两张显卡的显存直接对传，不经过 CPU。但 NVIDIA 从 RTX 30 系开始，在驱动层把消费卡的 P2P 软件禁用了。
硬件能力在不在？在。
有人 patch 了 NVIDIA 的开源内核驱动，强行打开 P2P，同时绕过 vLLM 里写死的 P2P 能力检测。结果双 RTX 3090 跑 Qwen 3.5 35B 的吞吐量直接提升 10-30%。
这说明什么？硬件支持 P2P，老黄就是不让你用——逼你买专业卡。
但 RTX PRO 6000 也没有 NVLink！花 7-8 万也只有 PCIe Gen5 x16，多卡互联没有比消费卡好到哪去。NVIDIA 倒是有一套"RTX PRO Server"整机方案——每两张 PRO 6000 配一张 ConnectX-8 SuperNIC，提供 400Gbps/GPU 的网络带宽。但那是企业级机柜方案，GPU + 专用网卡 + MGX 机箱 + DPU 全套下来的价格，不是普通人该看的页面。
最后一代有 NVLink 的消费卡是 RTX 3090（2020 年）。从那以后，消费级多卡就再也没有过高速互联。
────────────────────
【AMD 这边：更惨】
前面说了 AMD 的多卡通信库叫 RCCL。目前的状况是：
- 双 R9700
：在某些 ROCm/vLLM 版本组合下开 TP=2 死锁——两张卡 GPU 占用率锁死 100%，推理挂死，只能强杀进程。社区发现降级 RCCL 版本能绕过去，但不是根治 - 双 7900 XTX
：单卡各自跑没问题，两张卡同时参与集合通信就崩。也就是说——单卡能用，拼起来就废
────────────────────
【DGX Spark：没这个问题，但有别的问题】
DGX Spark 是统一内存架构，CPU 和 GPU 共享同一块内存池，单机内部不存在卡间通信问题（双机通过 200Gbps 以太网直连，带宽不高但至少稳定）。但它的代价是——内存带宽只有 273GB/s，RTX 5090 的 1/6.5。而且别被"DGX"的名号迷惑：GB10 的 GPU 计算规模大致相当于 RTX 5070 级别（SM 数量远少于 5090），它的定位是"能装大模型的小 GPU"，不是"慢版 5090"。大模型推理的瓶颈就是内存带宽——每生成一个 token 都要把模型权重从内存搬到计算单元，带宽和算力双低直接反映在推理速度上。
━━━━━━━━━━━━━━━━━━━━
◆ 坑三：vLLM / SGLang 不是开箱即用
━━━━━━━━━━━━━━━━━━━━
vLLM 和 SGLang 是目前最主流的两个大模型推理框架。你在网上看到的各种"本地部署 XX 模型"教程，十有八九用的就是它们。
但在消费卡上，它们经常不是 pip install 完就万事大吉。
────────────────────
【NVIDIA 这边】
最基本的坑：版本组合不对，装了也可能跑不了。早期 vLLM / PyTorch 稳定版就踩过 sm_120/sm_122 预编译内核缺失，pip install vllm 装完启动，直接报错"没有可用的内核镜像"。到 2026 年 5 月，sm_120/sm_122 支持已经比刚发布时好很多，但你仍然要对齐 CUDA、PyTorch、vLLM/SGLang 版本，还要确认目标模型用的量化和 MoE 后端有没有 sm_120/sm_122 路径。光这一步就能劝退大部分人。
更麻烦的是 FP4 量化 + MoE（混合专家）。MoE 模型的专家路由需要做 grouped GEMM（把多个小矩阵乘法打包在一起算），这块在 sm_120 上经历过一堆后端坑：有人在 RTX PRO 6000 上跑 NVFP4 MoE，输出随机空格、逗号碎片、乱码；也有人在 RTX 5090 / RTX PRO 6000 上跑 Nemotron-3-Nano-30B 的 NVFP4 版本，遇到 vLLM 找不到兼容 MoE 计算后端。后续框架和社区确实在补 SM120 kernel，但这恰恰说明问题所在：不是显卡写着支持 FP4，你的模型就一定能用那条最快路径跑起来。
SGLang 也踩过类似坑：检测到你是 Blackwell 架构，自动选了一个"最优"的注意力后端，然后立刻告诉你"这个后端只支持 SM100"——它知道你是 Blackwell，但没有区分清楚你是哪种 Blackwell。新版文档和 nightly 会继续修，但用户买卡时面对的是版本矩阵，不是宣传页。
消费卡多卡更麻烦。双 5090 开 TP=2，早期有人卡死在通信初始化阶段，连模型都加载不完；后面也有人靠 PP、RPC、特定版本组合绕过去。这里真正要记住的是：没有 NVLink、P2P 受限、NCCL/框架探测又复杂，多卡消费 Blackwell 不是一条稳态产品路线。RTX PRO 6000 理论上比 GeForce 更少 P2P 驱动限制，但仍然没有 NVLink，多卡 TP 仍要看 PCIe 拓扑和软件栈——上面说的 FP4、MoE、后端选择这些软件坑一样存在。
不只是 vLLM 和 SGLang——sm_120/sm_122 的问题是整条软件栈都在追硬件。CUTLASS、FlashInfer、TensorRT-LLM、bitsandbytes、PyTorch、框架自带 kernel，每一层都可能出现"硬件支持、上层没调到"或者"这个量化格式支持、那个 MoE 后端不支持"。有些坑在 2025 年是"完全跑不了"，到 2026 年变成"nightly 能跑、稳定版不行"；有些坑在单卡解决了，多卡又重新冒出来。
💡 一句话总结：sm_120/sm_122 不是不能用，而是还没有被软件生态驯服成傻瓜产品。你买回来的是一堆好零件，不是一台全自动机器。
────────────────────
【AMD 这边】
比 NVIDIA 还基础的问题：Docker 容器里启动就崩。vLLM 启动时要检测 AMD 平台信息，但容器环境里硬件监控路径没暴露，检测直接返回空值，引擎还没开始干活就退出了。本机直接跑能绕过去，但容器部署是生产环境的标配——容器里跑不了等于生产环境废了一半。
就算本机跑起来了，多卡一样废——坑二已经说过，R9700 双卡 TP=2 死锁，W7900 间歇性崩溃。AMD 在 vLLM/SGLang 上的更多问题放在坑四详细讲。
💡 翻译成人话：你以为装个框架就像装个 app，实际上更像自己组装宜家家具——NVIDIA 的说明书是瑞典语的，AMD 的说明书还没写。
━━━━━━━━━━━━━━━━━━━━
◆ 坑四：AMD 特有 —— ROCm 是另一个世界
━━━━━━━━━━━━━━━━━━━━
如果你看中 AMD 卡的性价比（R9700 三张 3.3 万就有 96GB 显存），你需要做好心理准备：ROCm 生态和 CUDA 生态的差距，远比你想象的大。
────────────────────
【先说 AMD 的优势】
公平起见，先说 AMD 卡好的地方——不然这篇就变成黑文了：
- 便宜
。同样 96GB 显存，AMD 方案 3-3.3 万，NVIDIA 要 7-8 万（PRO 6000），差一倍多 - 32GB 起步
。Radeon AI PRO R9700 单卡 32GB，和 5090 一样，但价格只要约 ¥1.1 万。W7900 单卡 48GB，是目前消费/工作站级 NVIDIA 卡买不到的容量段 - 开源驱动
。ROCm 内核驱动是开源的，社区能自己改。NVIDIA 直到 Blackwell 才被迫开源内核模块，而且很多用户态组件仍然闭源 - 单卡推理能用
。llama.cpp / Ollama 在 RDNA4 上已经比较成熟，R9700 跑 Qwen3-30B（Q4 量化）Vulkan 后端实测 180+ tok/s 的 prefill、120+ tok/s 的 decode，日常聊天完全够用
如果你只是想买一张卡、装个 Ollama、跟本地模型聊聊天——AMD 是 2026 年性价比最高的选择，没有之一。
问题出在你想做更多的时候。
────────────────────
【ROCm 版本地狱】
CUDA 的版本兼容性虽然也烦，但基本上向后兼容——CUDA 12.8 编译的东西在 12.9 上大概率能跑。ROCm 不一样。ROCm 6 和 ROCm 7 之间的 API 有破坏性变更，装错版本全白搭。
更要命的是 ROCm 的版本和 GPU 架构绑定很紧：R9700（RDNA4，gfx1201）这种新卡，官方指南、ROCm 6.4.x、ROCm 7.x、第三方容器、社区 wheel 经常不在一个节奏。你会遇到这种情况：A 库要求新 ROCm，B 库只在旧 ROCm 上有人验证，两个同时装不了。
CUDA 生态里这种事几乎不会发生，因为 NVIDIA 把兼容性当命根子——十年前编译的 CUDA 程序今天大概率还能跑。AMD 还没修炼到这个段位。
────────────────────
【Flash Attention：和 NVIDIA 消费卡一样卡在 FA2】
和 sm_120 的情况类似——FA3、FA4 都没有 AMD 移植，只能用 FA2。但 AMD 这边连 FA2 都多一层麻烦：pip install flash-attn 装不了，PyPI 包只有 CUDA 版，必须从 AMD 的 ROCm fork 源码编译。
编译完了还不一定能用。AMD 数据中心卡和消费/工作站 RDNA 卡的执行模型、后端优化重点不一样，很多高性能 kernel 优先照顾 MI300X 这类数据中心卡。R9700 这种 RDNA4 / gfx1201 路线，经常要靠 Triton、Vulkan、框架特定分支或者环境变量绕路。能跑是一回事，跑在最优路径上是另一回事。
💡 这里你会发现一个有趣的对称：NVIDIA 这边是数据中心（sm_100）和消费/工作站（sm_120）分裂，AMD 这边也是数据中心 MI300X 和消费/工作站 RDNA 路线分裂。两家的消费卡都是数据中心软件栈的二等公民，只是分裂的方式不同。
────────────────────
【R9700 × 3 还是 W7900 × 2？】
同样拼到 96GB，两种方案的取舍不只是算术题：
3× R9700（32GB×3）：三张卡意味着需要三个 PCIe 插槽，主板和电源都得能扛。三卡 TP=3 的同步参与方更多，PCIe 拓扑更难配平，通信和调试压力都比双卡明显更大。而且前面说了，R9700 双卡 TP=2 就已经死锁了，三卡只会更糟。
2× W7900（48GB×2）：两张卡简单一些，但 W7900 是上一代 RDNA3（gfx1100），不是最新的 RDNA4。好处是 RDNA3 的 ROCm 支持比 RDNA4 更成熟——毕竟上市两年多了，bug 修得多一些。坏处是 RDNA3 的 Wave32 兼容性同样有问题，多卡 RCCL 集合通信在双 7900 XTX 上也崩过。
现实的建议：如果你铁了心走 AMD 路线要 96GB，2× W7900 比 3× R9700 更稳——少一张卡少一份通信压力，RDNA3 生态也更成熟。但"更稳"只是相对的，不是"没问题"。
────────────────────
【训练/微调不靠谱】
如果你买 AMD 卡是想做 QLoRA 微调，要有心理准备。有人在 R9700 上跑 Llama 3 8B 的 QLoRA 微调，跑着跑着 GPU 直接报内存访问故障（memory access fault）——不是 OOM，是 GPU 内部的内存寻址出了问题，程序直接崩溃。临时解决方案是锁定特定版本的 transformers 库，但没人知道为什么换个版本就好了，属于"玄学修复"。
W7900 也好不到哪去。跑 vLLM 时间歇性脚本失败——不是每次都崩，是跑着跑着偶尔崩一次，重启又能跑一会儿。这种间歇性 bug 比稳定崩溃更折磨人，因为你不知道是自己配置的问题还是驱动的问题。
────────────────────
【总结：AMD 的坑在哪】
AMD 的硬件没问题——显存大、价格低、算力够用。坑全在软件：ROCm 版本兼容性差、FlashAttention 要手动编译还不一定能用、多卡通信库不稳定、训练微调有玄学 bug。
如果你愿意折腾，并且只做单卡推理，AMD 是最香的选择。如果你还想做更多——多卡、训练、用推理框架——AMD 省下的硬件钱，你会用时间来还。
━━━━━━━━━━━━━━━━━━━━
◆ 坑五：DGX Spark 特有 —— 仓库不是跑道
━━━━━━━━━━━━━━━━━━━━
DGX Spark 的卖点很直接：单机 128GB 统一内存，3 万元级别，能把很多消费卡装不下的大模型塞进去。但 DeepSeek V4 Flash 280B（按 FP4 量化估算权重约 150GB），单台 Spark 装不下，两台 Spark 拼到 256GB 才能跑。能装下 ≠ 能跑快。
内存带宽只有 273GB/s，RTX 5090 是 1,792GB/s，差 6.5 倍。大模型推理的瓶颈就是内存带宽——每生成一个 token 都要把模型权重从内存搬到计算单元。我们实测两台 Spark（256GB）跑 V4 Flash 280B（FP4，参数量和权重体积为我们按公开架构估算），经过大量优化最终 12 tok/s，日常对话够用但谈不上快。
软件层面，Spark 的 GPU 是 sm_121——既不是数据中心的 sm_100，也不是消费卡常见的 sm_120，是 DGX Spark 这类 GB10 设备用的第三类。sm_120 好歹有 RTX 5090 和 RTX PRO 6000 用户倒逼社区修 bug，sm_121 在公开消费/工作站生态里的样本少得多，社区优先级更低。坑三提到的 FP4 MoE 乱码，我们在 sm_121 上也碰到了（详见本公众号 185 期）。
DGX Spark 是仓库，不是跑道——能装最大的模型，但别指望跑最快的速度。
━━━━━━━━━━━━━━━━━━━━
◆ 反直觉的选项：上一代的 RTX 6000 Ada
━━━━━━━━━━━━━━━━━━━━
看完上面五个坑，你可能会问：有没有一张卡不用折腾？
有。但不是新卡，是上一代的 RTX 6000 Ada。
它是 Ada Lovelace 架构（sm_89），不是 Blackwell。48GB GDDR6 ECC，带宽 960GB/s。单卡 ~¥5万。
为什么看完五个坑之后要提它？因为上面所有的坑——sm_100 vs sm_120 的指令集分裂、FlashAttention 4 跑不了、vLLM 预编译包缺失、CUTLASS 写死排除、SGLang 后端选错——全都不存在于 sm_89 上。
Ada 是最后一个数据中心和消费/工作站共用同一套指令集的时代。RTX 4090（sm_89）、RTX 6000 Ada（sm_89）、RTX 5000 Ada（sm_89）——架构完全一样，给 4090 编译的 kernel 在 6000 Ada 上直接跑。vLLM pip install 开箱即用，FA2、PyTorch、Triton、vLLM 这些成熟路径在 sm_89 上已经被 4090 时代踩平，不需要源码编译，不需要对齐版本，不需要设环境变量绕后端。
从 Blackwell 开始老黄彻底分家：数据中心给 sm_100（有 TMEM），消费/工作站给 sm_120（没有 TMEM）。RTX 6000 Ada 是最后一代不被指令集歧视的卡。
缺点也明显：
- 贵
。单卡 ¥5万，两张拼 96GB 要 ¥10万，比 PRO 6000 还贵。硬件参数全面不如 Blackwell，但"零折腾"三个字在企业客户那里值很多钱——工程师调消费/工作站 Blackwell 兼容性的时间成本可能比卡本身还贵。再加上 Ada 工作站卡已经停产，存量越来越少，价格只会往上走 - 带宽不如 Blackwell
。960GB/s vs PRO 6000 的 1,792GB/s，推理速度差近一倍 - 上一代架构
。没有 FP4 原生支持，没有 5th gen Tensor Core
适合谁：预算够（¥5万单卡）、最怕折腾、只需要 48GB 显存的人。单卡 48GB 足够跑大部分 70B Q4 量化模型，软件生态零摩擦。但如果你需要 96GB，两张 ¥10万不划算——不如直接买 PRO 6000。
━━━━━━━━━━━━━━━━━━━━
◆ 那到底该怎么选？
━━━━━━━━━━━━━━━━━━━━
说了这么多坑，不给个选购建议就是耍流氓。按需求分流：
────────────────────
只想跑推理玩玩，不想折腾
→ 任意一张卡 + llama.cpp / Ollama。NVIDIA、AMD 都能跑，Ollama 把编译的活儿都干了。这是 2026 年最接近"开箱即用"的路径（AMD 上仍有 GPU 识别、ROCm/Vulkan 后端差异等小摩擦）。
────────────────────
想用 vLLM 跑推理服务
→ 最省心：RTX 6000 Ada（sm_89，pip install 直接跑）。最快：5090 / PRO 6000（sm_120/sm_122，要折腾版本但带宽碾压）。AMD 的 vLLM 支持还在"能跑但经常要折腾版本"的阶段。
────────────────────
想跑 70B+ 大模型，显存优先
→ 四条路：
- DGX Spark
（128GB，最便宜但最慢，~¥3.1万） - 2× W7900
（96GB，最便宜的多卡方案，~¥3万，但 ROCm 要折腾） - 2× RTX 6000 Ada
（96GB，软件零折腾，~¥10万，贵但稳） - RTX PRO 6000
（96GB 单卡，最快，¥7-8万，sm_122 软件坑）
────────────────────
想训练/微调
→ NVIDIA 单卡最省心。AMD 单卡 QLoRA 能跑但有玄学崩溃风险，多卡别碰。DGX Spark 跑 LoRA 可以——反正微调不在乎速度，慢慢跑一两天能出结果就行，128GB 显存还能装下更大的模型做微调；但全参数微调就别想了，带宽太低会慢到没法用。
────────────────────
有钱全都要
→ 要速度：RTX PRO 6000 单卡 96GB + 1,792GB/s 带宽，¥7-8万，目前消费/工作站级别的最高性能。但 sm_122 的软件坑一个不少。
→ 要省心：2× RTX 6000 Ada 拼 96GB，~¥10万，最贵但 sm_89 零折腾。
→ 两者都不完美——2026 年花多少钱都买不到"又快又省心"。
━━━━━━━━━━━━━━━━━━━━
◆ 写在最后
━━━━━━━━━━━━━━━━━━━━
2026 年普通人跑大模型没有完美选项。
NVIDIA 用指令集切产品线，消费卡永远是二等公民。AMD 有性价比但生态没跟上。DGX Spark 能装大模型但跑不快。
每条路都有坑，区别只在于坑的位置你能不能忍。
选之前，先想清楚你到底要干什么——是玩玩聊天机器人，还是跑推理服务，还是做微调研究。需求不同，能忍的坑就不同。
别问哪个最好。问你自己哪个坑你踩得起。
━━━━━━━━━━━━━━━━━━━━
◆ 参考资料
━━━━━━━━━━━━━━━━━━━━
NVIDIA 消费/工作站 Blackwell 软件兼容性：
NVIDIA CUDA GPU Compute Capability: RTX 5090 = CUDA Capability 12.0；RTX PRO 6000 框架侧常按 sm_122 / 12.2 处理；DGX Spark / GB10 = 12.1；B200/GB200 = 10.0/10.x：developer.nvidia.com/cuda-gpus NVIDIA Blackwell Compatibility Guide: sm_100a / compute_100a 架构特异代码不前后兼容：docs.nvidia.com/cuda/archive/13.0.0/blackwell-compatibility-guide/index.html NVIDIA CUTLASS Blackwell SM100 docs: tcgen05.mma 指令集：docs.nvidia.com/cutlass/latest/media/docs/cpp/blackwell_functionality.html NVIDIA Blackwell Ultra Technical Blog: 每个 SM 256KB Tensor Memory（TMEM）：developer.nvidia.com/blog/?p=104887 NVIDIA RTX PRO 6000 Blackwell Datasheet: 96GB GDDR7 ECC，1,792GB/s 带宽：nvidia.com/content/dam/en-zz/Solutions/design-visualization/quadro-product-literature/workstation-datasheet-blackwell-rtx-pro6000-x-nvidia-us-3519208-web.pdf NVIDIA GeForce RTX 5090 Specs: 32GB GDDR7，CUDA Capability 12.0：nvidia.com/en-us/geforce/graphics-cards/50-series/rtx-5090/ vLLM GitHub Issues: #16901（早期 sm_120 预编译包缺失 / no kernel image）, #18814（双 RTX 5090 TP=2 失败，TP=1 可用）, #37431（SM121 DGX Spark Mamba-2 Triton illegal instruction）：github.com/vllm-project/vllm/issues/16901, github.com/vllm-project/vllm/issues/18814, github.com/vllm-project/vllm/issues/37431 vLLM Forum: SM120 RTX PRO 6000 NVFP4 MoE Performance Report（Qwen3.5-397B，MoE 后端 patch / workaround）：discuss.vllm.ai/t/sm120-rtx-pro-6000-nvfp4-moe-performance-report-qwen3-5-397b/2536 NVIDIA Developer Forum: Does RTX5090 support VLLM multi card inference（双 RTX 5090 vLLM worker 退出）：forums.developer.nvidia.com/t/does-rtx5090-support-vllm-multi-card-inference-for-a-model/322430 SGLang GitHub Issues: #14814（trtllm_mha 拒绝 sm_120）, #19799（sm_121 Triton 非法内存访问）; Discussion #10564（FA4 不支持 sm_120）：github.com/sgl-project/sglang/issues/14814, github.com/sgl-project/sglang/issues/19799, github.com/sgl-project/sglang/discussions/10564 CUTLASS GitHub Issues: #2800（FP4 kernel sm_100 路径）, #3096（sm_120 NVFP4 MoE 乱码）：github.com/NVIDIA/cutlass/issues/2800, github.com/NVIDIA/cutlass/issues/3096 NCCL GitHub Issues: #1637（双 5090 P2P 问题）：github.com/NVIDIA/nccl/issues/1637
AMD ROCm 兼容性：
AMD Radeon AI PRO R9700 official specs: 32GB GDDR6，640GB/s 带宽：amd.com/en/products/graphics/workstations/radeon-ai-pro/ai-9000-series/amd-radeon-ai-pro-r9700.html AMD ROCm Radeon limitation docs: ROCm 7.0.2 preview；多张 R9700 跑 Llama 3 + PyTorch/vLLM 可能间歇性系统崩溃；R9700 QLoRA memory access fault 等已知限制：rocm.docs.amd.com/projects/radeon-ryzen/en/docs-7.0.2/docs/limitations/limitationsrad.html AMD RCCL docs: ROCm Communication Collectives Library，多 GPU / 多节点集合通信库：rocm.docs.amd.com/projects/rccl/en/latest/what-is-rccl.html ROCm GitHub Issues: #5656（R9700 多节点 / vLLM 启动问题，旧镜像可用 latest 失败）, #6074（双 7900 XTX RCCL 集合通信失败）：github.com/ROCm/ROCm/issues/5656, github.com/ROCm/ROCm/issues/6074 vLLM GitHub Issues: #40081（RDNA4 容器启动崩溃）, #40980（双 R9700 TP=2 死锁）：github.com/vllm-project/vllm/issues/40081, github.com/vllm-project/vllm/issues/40980 AMD ROCm Radeon AI PRO R9700 PyTorch Guide（ROCm 6.4.2 + PyTorch 2.8.0 环境）：amd.com/content/dam/amd/en/documents/products/graphics/workstation/radeon-ai-pro-rocm-pytorch-guide.pdf
FlashAttention 架构支持：
FlashAttention-4 paper: Algorithm and Kernel Pipelining Co-Design for Asymmetric Hardware Scaling（B200 实测）：arxiv.org/abs/2603.05451 FlashAttention-4 Cannot Run on RTX 5090 (SM120): gist.github.com/solatticus/aab6ec3a0436748b021cbbdd12e8c739 Writing Speed-of-Light Flash Attention for 5090 in CUDA C++: gau-nernst.github.io/fa-5090/ Hardware Corner: Your RTX PRO 6000 Blackwell Does Not Support FlashAttention-4：hardware-corner.net/rtx-pro-6000-blackwell-flashattention-4/
P2P 驱动 patch：
smcleod.net: "Patching NVIDIA's driver and vLLM to enable P2P on consumer GPUs"：smcleod.net/2026/02/patching-nvidias-driver-and-vllm-to-enable-p2p-on-consumer-gpus/ NVIDIA GeForce RTX 3090 official specs: GeForce RTX NVLink Bridge：nvidia.com/en-us/geforce/graphics-cards/30-series/rtx-3090-3090ti/ NVIDIA Developer Forum: RTX 3090 is the last GPU of this tech（NVLink bridge 支持讨论）：forums.developer.nvidia.com/t/nvlink-port-support-for-rtx-3090-ti-rtx-4080-4090/231140
DGX Spark / GB10：
NVIDIA DGX Spark official specs / user guide: 128GB LPDDR5x coherent unified memory，273GB/s 带宽：docs.nvidia.com/dgx/dgx-spark/hardware.html NVIDIA DGX Spark Newsroom: 本地运行最高 200B 推理、最高 70B 微调的官方定位：nvidianews.nvidia.com/news/nvidia-dgx-spark-arrives-for-worlds-ai-developers NVIDIA NIM LLM Release Notes: GB10 / NVFP4 MoE 可能 startup crash，workaround 为关闭 FlashInfer FP4 MoE：docs.nvidia.com/nim/large-language-models/2.0.1/about-nim-llm/release-notes.html
我们的 DGX Spark 实测：
本公众号 185 期：sm_121 ldmatrix 乱码排查与混合后端方案：https://mp.weixin.qq.com/s/dEc-wD0JcM5WhKicOUR1pQ
━━━━━━━━━━━━━━━━━━━━
// 靳岩岩的 AI 学习笔记 × Claude 的严谨 × Gemini 的浪漫
// 2026-05-17