AI芯片架构大横评:GPU/TPU/NPU/Groq/Cerebras选型指南

这是继《GPU SM 微架构全解析》之后，我们把视野从单一芯片内部拉升到整个 AI 芯片产业的横向对比。如果你想知道训练一个千亿参数大模型该选 B200 还是 TPU v5p，或者推理 70B 模型 Groq 和 MI300X 哪个更划算——这篇文章就是你的决策地图。

一、引子：同样的 Llama-70B，不同芯片上的命运

假设你有一个 Llama-70B 模型要部署。把它放到不同芯片上：

• H100 (80GB)：8卡才能放下（80GB × 8 = 640GB），还要为 KV cache 留空间
• MI300X (192GB)：单卡就能跑——192GB HBM3 轻松容纳模型权重 + KV cache
• Groq LPU (230MB SRAM)：根本放不下70B模型的权重——需要数百个芯片分布式
• B200 (192GB)：单卡放下，FP4 推理速度是 H100 的 ~4×
• TPU v5p (95GB)：需要多卡，但单卡矩阵乘法吞吐是 H100 的一半

这就是 AI 芯片的现实：没有万能芯片，只有最适合你场景的芯片。

AI 芯片架构设计的核心矛盾是：通用性 vs 专用性，内存容量 vs 带宽，单芯片性能 vs 规模扩展，生态成熟度 vs 硬件先进性。

本文将拆解三大阵营（GPU、ASIC/NPU、非传统架构），用一个核心对比矩阵回答终极问题：在什么场景下该用哪种芯片？

二、GPU 阵营：通用计算搭上了 AI 的快车

2.1 NVIDIA：从「通用 GPU」到「AI 算力帝国」

NVIDIA 的路线是 AI 芯片史上最大胆也最成功的策略：在通用 GPU 架构之上，逐代增加 AI 专用硬件，同时保持 CUDA 生态的统一。

A100 (2020)：第三代 Tensor Core，TF32/BF16 精度，156 TFLOPS。这是许多团队还在使用的基准线。40MB L2 和 80GB HBM2e 在当时是巨无霸。

H100 (2022)：第四代 Tensor Core，FP8 精度，1979 TFLOPS（稠密）。H100 的真正突破不在算力——A100 的 312 TFLOPS BF16 依然能用——而在于 Transformer Engine 让 FP8 训练成为可能，以及 WGMMA 降低了 Attention 和 FFN 的寄存器压力。H100 的 132 SM × 4 TC 的拓扑让它在 70B 以上模型的训练中几乎无对手。

但 H100 有一个致命短板：80GB 的 HBM 对 70B 模型来说太小了。

B200 (2024)：第五代 Tensor Core，FP4 精度，~5000 TFLOPS FP8。Blackwell 用双 die 架构突破了单 die 的 reticle limit，把 208B 晶体管分在 2 个 die 上。192GB HBM3e 终于解决了单卡装不下 70B 模型的问题。但 B200 的真正震撼在于：FP4 精度 + MicroScaling，让每焦耳能效比 H100 高 4 倍。

CUDA 生态是 NVIDIA 最大的护城河。所有主流框架（PyTorch、TensorFlow、JAX）的第一优先级永远是 CUDA。任何新芯片如果不开源支持 PyTorch，在生态上就已经输了。

2.2 AMD MI300X：大内存的降维打击

AMD 的策略极其清晰：不打算力正面战，打内存容量的侧翼战。

MI300X 用 13 个 chiplet 组成 304 个 Compute Unit。每 CU 含矩阵核心，FP16 算力 1307 TFLOPS——略高于 H100 的 989 TFLOPS，低于 B200。但 MI300X 的杀手锏是 192GB HBM3 + 5.3 TB/s 带宽。

这意味着什么？单卡可以跑 Llama-70B。不需要做分布式推理的通信开销。不需要为张量并行编写复杂的 NCCL 逻辑。 8 卡 MI300X 能装下 1.5TB 的模型——而 8 卡 H100 只有 640GB。

ROCm 生态正在追赶 CUDA：PyTorch 已官方支持 ROCm 5.7+，FlashAttention v2、vLLM、DeepSpeed 等核心库已适配。差距在缩小，但算子覆盖率和社区资源量仍有 2-3 年的滞后。

MI300A (APU) 是另一个有趣的实验：集成 24 个 Zen4 CPU 核心 + 228 CU GPU + 128GB 统一 HBM。这是朝着 "CPU+GPU 内存统一" 方向的关键一步——不再需要在 PCIe 上搬数据。

三、ASIC/NPU 阵营：为 AI 而生，不为通用妥协

3.1 Google TPU：脉动阵列的终极形态

TPU 的设计哲学与 GPU 截然相反：GPU 是通用并行处理器 + AI 加速器；TPU 是纯矩阵乘法机器。没有多余的东西。

TPU v5p 的核心是 MXU (Matrix Multiply Unit)——一个 128×128 的脉动阵列。每个 TPU v5p 芯片有 2 个 Tensor Core，每个含 2 个 MXU，共计 4 个 128×128 MXU。

关键数字：

• TPU v5p：459 TFLOPS BF16，95GB HBM2e，2.77 TB/s
• TPU v5e：197 TFLOPS BF16，16GB HBM2e，性价比优化版
• TPU v6 (Trillium)：926 TFLOPS BF16，~128GB HBM3（推测），256 芯片/pod

TPU 有两个 GPU 无法比拟的优势：

1. SparseCore：专用于处理稀疏 embedding 的硬件单元，在推荐系统和大规模 embedding 场景中比 GPU 快 5-10 倍
2. ICI 互联：3D Torus 拓扑，4800 Gbps/芯片，无阻塞全互联——比 NVLink 的 ring/switch 拓扑更适合大规模同步训练

但 TPU 的最大限制：只能在 Google Cloud 上按小时租用，不对外销售硬件。 这意味着你无法建自有机房，无法将 TPU 用于金融、医疗等合规要求严格的场景。

3.2 华为昇腾 Ascend：中国 AI 芯片的旗舰

昇腾 910B 是华为达芬奇（DaVinci）架构的第二代产品，专为深度学习的矩阵和向量运算设计。

DaVinci 架构的三个核心单元：

• Cube Unit：16×16×16 脉动阵列，专做矩阵乘法。每核心 16 TFLOPS FP16
• Vector Unit：处理激活函数、归一化、Loss 等非矩阵操作
• Scalar Unit：标量控制流和地址计算

32 个 DaVinci 核心组成一颗 910B，合计 320 TFLOPS FP16、640 TOPS INT8。

昇腾 910C 是 2024 年的升级版本，制程进步 + chiplet 设计，算力提升 50%+。

CANN 软件栈是昇腾的 CUDA 等价物，MindSpore 是华为自家 AI 框架。昇腾的挑战不在硬件（910B 的算力已接近 A100 水平），而在算子覆盖率和社区生态。很多开源模型（如 Llama、Mistral）需要适配才能在昇腾上高效运行。

但昇腾在中国有不可替代的定位：国产化替代 + 政策保障。在政府、金融、能源等领域，昇腾是唯一的选择——这不是性能问题，而是供应链安全问题。

3.3 Intel Gaudi3：大规模扩展的实用主义者

Gaudi3 的策略是：矩阵算力跟上，网络压倒性领先。

• FP8：1835 TFLOPS（接近 H100）
• 128GB HBM2e，3.7 TB/s
• 24 个 200GbE RoCE 端口集成在芯片上——无需外部 NIC

普通 GPU 集群的通信路径是 GPU → NIC → Switch → NIC → GPU，而 Gaudi3 的路径是 Gaudi3 → Gaudi3（一步直达）。这让 1024 卡以上的大规模训练通信开销远低于 GPU 集群。

Gaudi3 通过 Habana SynapseAI 软件栈支持 PyTorch、DeepSpeed、FSDP——不需要改代码。在 Llama 70B 训练中，1024 卡 Gaudi3 的性能已达到同等数量 H100 的 95%，但价格更低。

四、非传统阵营：根本不按 GPU 的套路出牌

4.1 Cerebras WSE-3：硅片级别的「大」革命

Cerebras 做的事情在芯片史上独一无二：把整片 12 英寸晶圆做成一颗芯片。

WSE-3 的数据令人眩晕：

• 46,225 mm²（H100 的 57 倍面积）
• 4 万亿晶体管（H100 的 50 倍）
• 90 万个 AI 优化核心
• 44GB 片上 SRAM
• 21 PB/s 片内内存带宽（H100 HBM 的 6,000 倍）

WSE-3 的核心设计理念是 消灭内存墙。在 GPU 上，模型参数存在 HBM 中，每次访问 ~200 周期延迟。在 WSE-3 上，参数分布在 90 万核心旁的小块 SRAM 中，访问延迟 ~1 周期。这个差异是三数量级的。

Cerebras 的真正厉害之处是天然支持动态非结构化稀疏——不是 NVIDIA 的 2:4 结构化稀疏（要求每 4 个值中 2 个为零），而是任意稀疏模式。这让训练稀疏模型的速度可以达到稠密模型的 10 倍。

但代价是巨大的：一台 CS-3 系统价格为数百万美元，功耗 23kW，且仅支持超大规模模型训练。如果你在训练一个 1B 模型，WSE-3 的优势无法发挥——它的 90 万核心需要大问题规模才能充分利用。

4.2 Groq LPU：删掉 HBM，删掉不确定性

Groq 的 LPU 做了两个「减法」——去掉 HBM，去掉运行时调度的不确定性。

LPU 用 230MB 片上 SRAM 完全替代 HBM。所有模型参数在推理开始前就永久驻留在 SRAM 中。没有外部内存访问意味着零内存延迟方差——这正是 GPU 推理 P99 延迟高的根源。

更重要的是 LPU 的 Tensor Streaming Processor 架构：编译器在编译时就将计算图映射为精确的硬件操作序列，确定每一步的数据流动。没有 warp scheduler 的运行时调度，没有 cache miss，没有 bank conflict。每一次推理的执行轨迹完全相同。

这让 Groq 在 Llama 70B 推理上实现每 token ~2ms 延迟（单卡），且延迟标准差极小。对于实时对话应用——用户问一个问题等回复——这种可预测的低延迟比 GPU 的平均延迟更有价值。

但 LPU 的 230MB SRAM 也限制了它的应用：必须用多个芯片（可能数百个）来放 70B 模型。这增加了系统复杂度和成本。此外，LPU 完全无法做训练——它不是通用处理器。

五、核心对比矩阵：八维度横评

5.1 旗舰训练芯片硬实力对比

5.2 推理性价比对比 (Llama-70B 基准)

5.3 软实力对比

六、选型决策树：什么场景该用什么芯片？

决策路径 1：你是训练还是推理？

训练 → 继续看「模型规模」

推理 → 继续看「延迟要求」

• 超低延迟（<5ms/ token，实时对话）→ Groq LPU（如果可以租到）
• 标准延迟（<50ms/ token）→ 继续看「模型大小」

决策路径 2：你的模型有多大？

≤ 7B 参数：

• 训练：A100 × 4-8（性价比最优）或 H100 × 8（如果追求速度）
• 推理：L40S 或 L4（性价比之王，L4 可以 72W 跑 7B 模型）

7B - 70B：

• 训练：H100 × 8-64（8 卡起步，64 卡可训 70B）
• 推理：MI300X（单卡可跑 70B，省去分布式推理的复杂度）
• 预算有限：L40S × 4（4 卡 ≈ 192GB，等于 1 张 MI300X）

70B - 200B：

• 训练：B200 × 16-64 或 TPU v5p pod
• 推理：MI300X × 1-2 或 B200 × 1-2

> 200B（MoE 如 Mixtral 8×22B 等效 141B）：

• 训练：B200 × 64+ 或 TPU v5p × 256+
• 推理：MI300X × 4+（内存为王）

决策路径 3：你在中国大陆吗？

• 是 → 昇腾 910B/C（供应链安全优先）
• 否 → 继续看「生态要求」

决策路径 4：你的预算是多少？

< $50K（个人/小团队）：

• 训练小模型：A100 × 1-2（二手市场 ~$8K/张）
• 推理：L40S 或租用云 GPU

$50K - $200K（创业公司）：

• 训练：H100 × 4-8
• 推理：MI300X × 2-4（大内存优势）

$200K+（大厂）：

• 训练：B200 × 16+ 或 TPU v5p pod
• 推理：MI300X × 8 或 B200 × 8

决策路径 5：你的团队会用 CUDA 吗？

• 用 CUDA 很熟练 → NVIDIA 或 AMD（ROCm 是 CUDA 的近亲）
• 不会 CUDA，用 PyTorch 高级 API → 所有芯片都可以（关键是框架支持）
• 希望完全不用写底层代码 → TPU（JAX/XLA 自动编译）
  

七、避坑指南：AI 芯片选择的常见陷阱

陷阱 1：只看峰值 FLOPS，不看实际利用率

峰值 FLOPS 是最大谎言。 H100 的 989 TFLOPS FP16 —— 你在实际训练中能达到 50% 利用率（~500 TFLOPS）就是优秀。而"利用率"由什么决定？

• 算子是否适配：FlashAttention v2 在 H100 上达到 70%+ 利用率，但如果你用了未优化的 attention 实现，可能只有 20%
• 通信是否瓶颈：训练大模型时，40-60% 的时间在等待梯度同步
• 内存带宽是否瓶颈：推理时，很多操作（如 KV cache 读写）是内存带宽 bound 而非算力 bound

教训：不要被 TFLOPS 数字迷惑。看实际 benchmark 结果，特别是与你工作负载相似的 benchmark。

陷阱 2：忽略互联拓扑

8 卡 H100 比 8 张单独的 H100 强得多——因为 NVLink 让它们可以共享计算。但如果你把 8 张 MI300X 放在没有 Infinity Fabric 连接的服务器上，它们就是 8 张孤立的卡——虽然每张都有 192GB，但无法做张量并行。

教训：买卡之前先确认互联方案。NVLink（NVIDIA）、Infinity Fabric（AMD）、HCCS（昇腾）都需要特定的服务器主板支持。

陷阱 3：TPU 的隐藏成本

TPU 按小时租用看似便宜，但有两个隐藏成本：

1. 数据必须在 Google Cloud 上：数据迁移费 + 存储费
2. 模型必须 XLA 可编译：不是所有 PyTorch 代码都能直接编译到 XLA

教训：如果数据已经在 GCP 上，TPU 是极佳选择。如果不是，迁移成本可能超过硬件节省。

陷阱 4：昇腾的「能跑」≠「跑得快」

昇腾 910B 的 320 TFLOPS FP16 看起来不错，但很多模型需要适配 CANN 算子才能发挥性能。直接用 PyTorch 跑未优化的模型，利用率可能低于 30%。

教训：选择昇腾需要预留 1-3 个月的适配时间，且团队需要 CANN 技能。

陷阱 5：内存大 ≠ 推理快

MI300X 的 192GB 让你单卡可以跑 70B 模型，但带宽 5.3 TB/s 决定了 token 生成速度。如果模型只是「能放下」但「带宽不够」，用户体验仍然很差。

教训：推理时，算力/带宽比 = 决定了单 token 延迟。MI300X 的 1307/5.3 = 246 TFLOPS/TB，H100 的 989/3.35 = 295 TFLOPS/TB——H100 的每 token 延迟可能更低，尽管内存更小。

八、未来展望：AI 芯片的下一个五年

8.1 精度继续下探：FP4 → FP2?

FP32→FP16→INT8→TF32→FP8→FP4——精度每两年减半，算力翻倍。2026 年可能出现 FP2（2 位浮点），但传统 FP2 只能表示 4 个值，意义有限。MicroScaling（块级共享缩放）可能是关键——不是单纯降低位宽，而是结构化的非均匀量化。

8.2 Chiplet 成为标配

B200、MI300X、910C 都采用了 chiplet/MCM 设计。突破单 die 的 reticle limit（~850mm²）是物理必然。未来的趋势可能是：

• 计算 chiplet 用最新工艺（N3/N2）
• IO chiplet 用成熟工艺（N7/N5）
• SRAM chiplet 用专用工艺（高密度 SRAM）
• 通过 UCIe 互联标准实现跨厂商混合匹配

8.3 训练和推理芯片开始分叉

NVDA 的 L40S/L4 已经证明：推理芯片不需要训练芯片的 FP64、复杂互联、大 L2 Cache。未来可能出现：

• 训练芯片：追求算力密度 + 高带宽互联 + FP8/FP16
• 推理芯片：追求能效 + 低精度（FP4/INT4）+ 大内存

Groq LPU 是第一个"纯推理"架构的尝试，但不会是最后一个。

8.4 光互联与 3D 堆叠

芯片间互联正在成为比算力更关键的瓶颈。NVIDIA 576-GPU 互联域需要 10TB/s 的芯片间带宽——铜互连正在逼近物理极限。硅光子互联（延迟 1ps/mm，铜的 ~5x）可能在未来 3-5 年成为芯片间互联的主流方案。

3D 堆叠（逻辑 + SRAM + HBM 的 Z 轴集成）将彻底改变 SM 内部的数据移动模式——寄存器文件和共享内存不再是面积限制的瓶颈。

九、总结：没有万能解，只有最优解

回到开头的问题：在什么场景下该用哪种芯片？

AI 芯片架构的竞争远未结束。CUDA 的护城河在缩小（PyTorch 2.0 的编译后端正在抽象化硬件差异），新的架构范式在涌现（Cerebras 的晶圆级、Groq 的确定性），精度在持续下探（FP4→FP2→MicroScaling）。五年后回看今天，我们可能会觉得 2025 年的 AI 芯片还很"原始"。

但有一点不会变：最好的芯片，是和你工作负载最匹配的那颗。

参考资源

1. NVIDIA H100/B200/A100 Architecture Whitepaper
2. AMD Instinct MI300X Data Sheet
3. Google Cloud TPU v5p/v6 Documentation
4. Huawei Ascend 910B DaVinci Architecture
5. Cerebras WSE-3 White Paper
6. Groq LPU Architecture Overview
7. Intel Gaudi3 White Paper
8. Hot Chips 2023/2024 Presentations
9. SemiAnalysis AI Chip Analysis Reports