夜雨聆风几年前讨论AI基础设施，问题通常很直接：有多少预算，能买到多少块英伟达GPU，而现在去做一次真正的AI算力选型，情况会复杂得多。
英伟达已经把产品做到GB300 NVL72这样的机架级系统；Google没有沿用“一颗TPU兼顾所有负载”的思路，而是把第八代拆成训练芯片8t和推理芯片8i；AMD拿出了配备432GB HBM4的MI455X；国内的昇腾、寒武纪和海光，也分别走向超节点、专用加速和通用计算。
更麻烦的是，模型本身也变了。预训练在意计算利用率和集合通信，MoE频繁进行all-to-all，长上下文不断吃掉显存，Reasoning模型则让推理时间和输出长度一起增长。以前一张卡上不太显眼的问题，放大到数百、数千张卡后，往往会变成整个集群的瓶颈。
所以现在很难直接回答“哪块芯片最强”。这个问题缺了几个条件：跑什么模型，多长的上下文，追求吞吐还是时延，部署在云上还是自己的机房，团队愿意为迁移付出多少时间。条件不同，答案可能完全相反。
基于此，本文尝试使用MLPerf、公开实测、厂商测试和纸面规格等因素做一个全方位比较，资料更新至2026年8月。
一、先把FLOPS放到一边
1. GPU、TPU、NPU和DCU究竟有什么不同
GPU原本服务图形计算，后来凭借大量并行单元和高带宽显存成为AI训练主力。它最大的好处是通用：矩阵乘法、向量运算、科学计算、视频编解码乃至自定义算子都能做。CUDA再把编译器、通信库、算子库、推理引擎和开发工具接起来。很多团队说自己依赖英伟达，依赖的其实是这一整套东西。
TPU属于面向机器学习定制的ASIC。Google从模型、编译器、数据中心网络到云服务进行协同设计，可以牺牲部分通用性，换取特定工作负载上的效率。TPU的核心问题是模型能否被XLA有效编译、切分并映射到TPU Pod上。
NPU是更宽泛的称呼，通常指面向神经网络计算优化的专用处理器。华为昇腾和寒武纪MLU均属于这一大类，但二者在指令集、计算核心、互联和软件栈上并不相同，不能因为都叫“NPU”就认为性能和使用方式相近。
DCU是海光对数据中心计算加速器的产品定义。它更接近通用GPGPU路线，强调对既有并行计算生态的承接，以及AI与高性能计算的兼容。其价值不只是神经网络推理，也包括科学计算、工程仿真等传统HPC负载。
2. FLOPS只是天花板，不是交付性能
芯片规格中的PFLOPS，通常是在特定精度、特定稀疏条件下的理论峰值。40 PFLOPS FP4不等于运行任意模型都能得到40 PFLOPS，更不等于其速度一定是10 PFLOPS芯片的4倍。
到了真实环境，下面这些问题一个也绕不过去：
模型能否安全使用FP8、FP4等低精度； 算子是否经过融合和内核优化； 数据能否及时从HBM送到计算单元； 多卡通信是否让计算单元长时间等待； 动态Batch、KV Cache和调度策略是否匹配业务流量； 集群是否因故障、网络抖动和软件问题降低有效利用率。
训练团队常用MFU（Model FLOPs Utilization）看模型实际吃到了多少理论算力。两套峰值相同的集群，一套MFU为45%，另一套只有30%，前者交付的有效算力就是后者的1.5倍。采购合同看起来一样，月底账单却不会一样。
3. HBM与互联为何越来越重要
大模型推理通常包含Prefill和Decode两个阶段。Prefill一次处理大量输入Token，矩阵运算密集，更偏向计算瓶颈；Decode逐Token生成，频繁读取模型权重和KV Cache，更容易受内存容量与带宽限制。
这也是为什么新一代芯片不断增加HBM。288GB或432GB的意义不只是“能装下更大的模型”，还包括减少张量并行规模、容纳更多KV Cache、提高Batch Size，以及减少跨卡通信。卡数减少还可能同步降低服务器、网络和软件复杂度。
互联则分为两层：Scale-up连接一个节点或机架内的加速器，要求高带宽、低时延，服务张量并行和专家并行；Scale-out连接多个节点或机架，决定训练集群能够扩展多远。NVLink、UALink、TPU ICI、华为UnifiedBus解决的主要是前者，InfiniBand、Spectrum-X、Ultra Ethernet和数据中心网络解决的主要是后者。
二、GPU路线：从B300到MI455X
1. 英伟达B300：卖的不只是GPU
B300属于Blackwell Ultra。与B200相比，它最直观的变化是单GPU HBM3e容量从180GB提高到288GB，带宽维持在最高约8TB/s。HGX B300由8颗GPU组成，节点拥有2.3TB HBM；第五代NVLink为每颗GPU提供1.8TB/s GPU间带宽，8卡聚合带宽达到14.4TB/s。
真正体现英伟达思路的，其实是GB300 NVL72。72颗Blackwell Ultra GPU、36颗Grace CPU都塞进一个液冷机架，再由NVSwitch组成统一的NVLink域。整机约有20TB GPU显存和130TB/s NVLink总带宽。张量并行、专家并行产生的大量通信，可以尽量留在机架内部，不必过早挤进数据中心网络。
这也是英伟达最难替代的部分。写模型有CUDA，基础计算有cuDNN和算子库，集合通信有NCCL，推理有TensorRT-LLM和Dynamo；硬件内部靠NVLink/NVSwitch，机架之间还有ConnectX和Spectrum-X或InfiniBand。换掉一张GPU并不难，换掉这条已经跑顺的工程链才难。
当然，这不意味着B300放在哪里都划算。液冷、供电和网络改造都要钱，中小模型或流量不稳定的业务未必吃得下这样的计算密度。如果真正卡住系统的是数据预处理、检索、CPU编排或存储，再贵的GPU也只能等数据。
2. AMD MI455X：用HBM4和开放机架正面竞争
AMD在2026年7月发布MI455X。它采用CDNA 5架构，配备432GB HBM4，峰值内存带宽23.3TB/s；理论峰值达到40.3 PFLOPS OCP MXFP4、20.1 PFLOPS FP8，单GPU峰值Scale-up双向带宽为3.6TB/s。
MI455X主要服务Helios机架级方案。Helios包含72颗MI455X、EPYC“Venice”CPU和Pensando网络，整机约31TB HBM4、2.9 EFLOPS FP4、1.4 EFLOPS FP8，采用OCP Open Rack Wide、UALink和Ultra Ethernet等开放标准。与英伟达强化自有垂直栈不同，AMD希望用开放互联和多厂商生态降低锁定风险。
但MI455X的这些数字主要是理论规格和厂商资料，更适合用于实测对比的是MI355X。
在MLPerf Training 5.1的8卡系统结果中，AMD披露MI355X完成Llama 2 70B LoRA训练用时10.18分钟；其汇总的B200和B300合作伙伴系统平均值分别为9.85和9.59分钟。Llama 3.1 8B预训练中，MI355X为99.7分钟，B200和B300平均值分别约93.69和95.10分钟。按这组特定测试，MI355X已接近B200/B300，但不能据此推导所有模型、卡数和软件栈均已实现全面对等。
MLPerf Inference 6.0中，AMD披露MI355X在Llama 2 70B单节点测试里达到B200的97% Server、约100% Offline和119% Interactive性能；相对B300则为93%、92%和104%。这些结果说明AMD已不再只是“显存更大的备选”，但也说明性能高度依赖场景：Interactive领先，不代表Offline吞吐同样领先。
AMD最难的一关仍然是软件。ROCm已经支持PyTorch、JAX、Triton、vLLM和SGLang，主流模型的首日适配比两三年前好得多；但碰到冷门算子、旧代码、诊断工具和第三方商业软件，CUDA的积累仍更扎实。企业迁移也绝不只是把cuda替换成hip，模型正确性、性能回归、监控、容错和发布流程都得重做一遍。
三、TPU路线：Google为什么把第八代拆成8t和8i
Google第八代TPU最有意思的地方，是它干脆不再强求一颗芯片兼顾所有负载。8t负责大规模预训练和Embedding密集任务，8i负责后训练、采样、在线推理与Reasoning。训练吞吐和逐Token低时延很难同时做到最好，Google选择把题拆开做。
TPU 8t继续采用3D Torus，一座Superpod最多9,600颗芯片。Torus适合预训练中规律、持续的大规模通信；SparseCore专门处理Embedding查找等不规则访存，避免矩阵计算单元等待。Virgo Scale-out网络采用扁平两层无阻塞设计，Google称其可以连接超过13.4万颗TPU 8t。TPUDirect RDMA和TPUDirect Storage则让HBM直接与网络或高性能存储交换数据，减少CPU和主存成为数据入口瓶颈。
TPU 8i选择了不同方向。其384MB片上SRAM是上一代的3倍，目的之一是让更多KV Cache停留在片上，降低长上下文Decode对HBM的访问压力。Collectives Acceleration Engine将自回归解码中的归约和同步放入专用硬件，Google称片上集合通信时延降低5倍。
Boardfly拓扑更能体现推理思维。一个1024芯片的8×8×16三维Torus，最远通信距离为16跳；Boardfly通过高基数、分组互联和光交换把最大距离降至7跳。MoE模型在每个Token上都可能把数据路由到不同专家，较少的网络跳数意味着更低的尾时延。
Google给出的代际数据是：TPU 8t相对Ironwood，大规模训练每美元性能最高提高2.7倍；TPU 8i的低时延MoE推理每美元性能最高提高80%；两者性能功耗比最高提升2倍。这些属于厂商代际测试，测试条件与独立GPU benchmark并不相同，不能用来宣布TPU 8“比B300快多少”。
TPU好用与否，很看团队是不是愿意进入Google的体系。JAX、XLA、Pathways和Pallas可以完成模型切分、编译与Pod级调度，第八代还加入了原生PyTorch预览支持。但TPU主要通过Google Cloud获得，企业对硬件和网络的控制不如自建GPU集群；非标准算子怎么写、故障怎么查，团队也要重新学习。已经重度使用Google Cloud、模型规模够大、愿意围绕XLA调优的团队，最容易吃到它的好处。
四、DCU路线：海光的价值不只是“国产GPU”
海光DCU走的是通用并行计算路线。相比强调专用矩阵单元的NPU，它更重视对AI、科学计算和工程计算的共同支持。其自研DTK软件栈提供编译器、运行时和函数库，目标是降低既有并行程序迁移成本。
截至2026年8月，深算二号可以作为公开生态与应用基线；海光2025年年度材料确认深算三号已经实现商业化应用，并已围绕大模型进行软件优化。公司同时发布HSL系统互联协议，希望连接CPU、xPU、I/O、操作系统和整机生态。
海光没有公开足够完整的深算三号峰值算力、显存和带宽数据。现阶段更值得验证的是它的兼容性：国产服务器能否稳定部署，气象、流体仿真和制造业工程代码要改多少，AI与传统HPC能否共用一套基础设施。
DCU路线的优势是通用性和迁移逻辑，挑战则是AI前沿模型的算子优化速度、低精度能力、集群互联和公开benchmark不足。如果项目目标是迁移一套多年积累的科学计算代码，DCU的评价方式应包含移植工作量与正确性，而不只是大模型tokens/s。
五、国产AI芯片：从“单卡可用”走向“超节点可扩展”
1. 华为昇腾：用系统规模弥补单芯片约束
昇腾可以分成新旧两条线来看。已经落地的是910C和Atlas 900 A3：Atlas 900 A3最多连接384颗910C，华为称截至2026年7月，昇腾384超节点已部署750余套。更新的一条线则是950系列和Atlas 950。
950PR面向Prefill和推荐系统，已经出现在Atlas 350加速卡及CANN 9文档中。950DT则面向Decode和训练，规划提供144GB内存、4TB/s内存带宽、2TB/s互联带宽，并支持FP8、MXFP8和MXFP4；其计划时间是2026年第四季度，不能在本文中视作已经规模交付。
2026年7月亮相的Atlas 950 SuperPoD真机为1024卡形态，华为披露其提供1 EFLOPS FP8、2 EFLOPS FP4、256TB全局统一编址内存和约3微秒RTT。其核心不是把1024张卡堆在一起，而是用UnifiedBus和统一内存语义把跨节点资源组织为更大的逻辑计算机。
昇腾的软件策略也发生变化。CANN 9开始支持950PR，Ascend C加入SIMD与SIMT混合编程，CANN及Mind系列基础软件进一步开源。对开发者而言，这比一个新的TOPS数字更重要：国产芯片真正的瓶颈通常是算子开发、错误定位、框架兼容和版本稳定性。
这组规格很抢眼，但还回答不了工程团队最关心的问题。1024卡Atlas 950不能直接和MLPerf里的8卡服务器排在一张柱状图上。它究竟好不好用，还得看同一模型、同一精度下的训练时间、扩展效率、故障率、检查点恢复时间，以及连续运行几个月后的集群利用率。
2. 寒武纪：公开参数不足，更应看软件和实际适配
寒武纪公开产品中，MLU370-X8仍是规格较透明的基线。它采用双芯设计，提供200GB/s MLU-Link通信吞吐，支持单机8卡训练和分布式推理。其NeuWare软件平台包含驱动、运行时、BANG编程环境、CNNL计算库和MagicMind推理工具。
MLU590已经出现在寒武纪CNNL版本支持列表中，说明软件栈已经完成相应硬件适配。对寒武纪的评价，应更多依赖目标模型实机PoC：模型能否转换，算子覆盖率如何，量化后精度是否保持，单卡和多卡吞吐如何，故障与监控工具是否完善。对于固定模型、规模稳定的行业推理，专项适配可以获得较好效果；对于模型频繁变化、依赖最新开源算子的研发环境，迁移成本通常更高。
3. 其他国产厂商：不缺型号，缺同口径数据
壁仞、沐曦、燧原、摩尔线程、天数智芯、昆仑芯等厂商分别采用通用GPU、AI训练加速器或专用推理芯片路线。一些产品已进入运营商、智算中心和行业项目，但公开材料中的精度、稀疏条件、卡数、模型版本和软件栈经常不一致。
六、Benchmark应该怎么读
1. 四级证据体系
MLPerf Training测量系统达到目标质量所需时间，数值越低越好；MLPerf Inference则包含Offline、Server和Interactive等场景。Offline强调最大批量吞吐，Server模拟带延迟约束的请求，Interactive进一步强调逐用户响应。三者回答的不是同一个问题。
MLPerf Inference 6.0又加入GPT-OSS 120B和DeepSeek-R1 Interactive，使Reasoning与推测解码开始进入标准测试。这是一个重要变化：未来比较推理系统，不能只问每秒产生多少Token，还要问每个用户能多快收到这些Token。
2. 为什么同一个benchmark也可能被误读
即便都叫Llama 2 70B，也要检查：是全量训练还是LoRA，是FP8还是FP16，是Offline还是Server，输入输出长度是多少，单节点还是多节点，是否使用结构化稀疏、投机解码或不同准确率目标。
一个常见误区是把8卡节点吞吐除以8，得到“单卡性能”。模型并行存在通信开销，系统吞吐并不总能线性拆分。另一个误区是把短输入、长输出的结果套到长上下文业务。前者更偏Decode，后者可能首先在Prefill、KV Cache和通信上遇到瓶颈。
因此给出一个“AI芯片总分”其实并不可行。更实用的做法是从业务SLO往回推：实际输入多长、输出多长、并发多少、首Token要多快、逐Token能等多久、准确率能否下降、系统允许停多久。把这些条件写清楚，benchmark才开始有意义。
七、TCO：便宜的卡不一定带来便宜的Token
AI集群的总体拥有成本可以简化为：
单位Token成本 =（硬件折旧＋电力与制冷＋网络与存储＋软件迁移＋运维人力）÷ 在满足SLO条件下交付的有效Token数
假设A方案采购成本低20%，但因算子成熟度和故障导致集群有效利用率只有45%；B方案更贵，但有效利用率达到65%。在其他条件近似时，A方案的有效算力成本未必更低。更大的HBM还可能减少张量并行卡数，从而节省服务器、交换机和软件复杂度。
TCO测试至少应持续一到两周，覆盖真实流量波动、故障恢复和模型更新，而不是只跑几分钟峰值吞吐。应记录：
P50、P95和P99的TTFT与TPOT； 满足SLO时的tokens/s和并发用户数； GPU/NPU利用率、HBM占用与网络流量； 每日故障、任务重启和检查点恢复时间； 量化后准确率与输出质量； 迁移和持续维护所需工程师工时。
只有把这些指标换算成“合格请求数”或“合格Token数”，不同架构的经济性才真正可比。
八、七类应用应该怎么选
对超大规模预训练，英伟达仍拥有最成熟的软硬件生态；Google TPU适合愿意深度采用Google Cloud和XLA的团队；AMD以更大内存和开放标准提供了有分量的第二选择，但MI455X仍需更多生产数据验证。
对国产化项目，昇腾的优势是系统规模、合作伙伴和完整产品栈；寒武纪适合围绕明确模型进行专项适配；海光DCU在通用计算和既有HPC软件迁移中更有辨识度。三者不是简单的同类替代品。
在实际流程中，可以先用小集群验证正确性和性能，再扩大到多节点跑稳定性。除了目标模型、精度、吞吐和时延这些重要因素之外，软件版本维护、故障响应和模型升级等也需要考虑。
九、最后，回到开始
写到这里，很难给出一个让所有人都满意的答案。
英伟达仍然是风险最低的选择，尤其是需要快速跟进新模型、集群规模又很大的团队。Google TPU把训练和推理分开设计，展示了另一种很有说服力的方向。AMD终于不再只靠“显存更大、价格更低”吸引注意，MI455X和Helios已经具备正面竞争的产品形态。国产芯片也跨过了“模型能不能跑”的早期阶段，开始面对更难的问题：能不能稳定跑、能不能规模化跑、每年要花多少人维护。
这些变化最后都会落到“有效算力”上。芯片手册里的PFLOPS当然重要，但企业真正需要的是训练进度、满足时延要求的Token，以及几年内可以持续维护的生产系统。
TPU 8t和8i分工，昇腾950PR与950DT分别瞄准不同阶段，也预示着下一步的变化：未来一套AI基础设施里，很可能同时存在训练、Prefill、Decode和通用计算资源，由调度系统根据任务选择硬件。一颗芯片包办一切，未必仍是效率最高的方案。
如果一定要简化为一个简单的选型问题，我们可以这样想：在自己的模型、数据、SLO、机房和团队条件下，哪套系统能用最低的风险和总成本，连续三年交付最多的有效算力？
当问题这样提出时，很多漂亮但缺少上下文的参数，反而没有那么重要了。
数据来源与口径说明
注：厂商规格通常是理论峰值；AMD引用的MLPerf相对比较来自其对公开提交结果的汇总；Google TPU代际提升、华为超节点性能与部署数量均为厂商披露。