AI算力:异构芯片的战国时代

最近，AI算力圈发生了一系列让人眼花缭乱的变化。

一边是英伟达的B200/GB300继续高歌猛进，另一边则是华为祭出了8192卡的Atlas 950超节点；而在大厂之外，Cerebras、Groq等异构芯片厂商，以及Together AI、CoreWeave等新一代云厂商，也在各自的生态位里疯狂生长。

今天，我们就从底层的"封装工艺"开始，一路向上，把芯片架构、异构算力分化、软件优化，再到云厂商的商业模式，做一次彻底的梳理。

一、华为的"韬定律"：用系统架构换单卡算力

在先进制程受限的情况下，华为的AI算力到底能不能打？

答案是：单卡确实有差距，但系统级正在追平。华为的核心策略，我们可以称之为"韬定律"——不在制程上硬拼，而是通过时间效率和底层优化快速迭代。麒麟9030Pro已经证明了这条路径的可行性：虽然制程上很难一步到位，但通过架构创新和工程优化，可以快速逼近第一梯队。

1. 载板封装：后摩尔时代的"新制程节点"

要理解华为的突破，首先要理解一个正在发生的行业认知转变：封装就是新的制程节点。

过去20年，"工艺"几乎等于"前道制程"——把晶体管做得更小（28nm→7nm→3nm）。但现在摩尔定律放缓后，台积电自己都在推"先进封装就是下一代制程"的叙事。英伟达B200之所以强，不是因为单Die多强，而是因为台积电CoWoS-L把两个Die无缝拼成了一个逻辑芯片。

华为走得更激进——它连CoWoS都不用（也用不了），直接用载板封装。

两种封装路径的本质区别：

•CoWoS硅中介层：在一块精密的硅"地基"上，把计算芯片和HBM芯片像邻居一样紧挨着盖在一起，中间用极细的"高速公路"（硅通孔TSV）连通。布线精度0.5-2μm，成本极高，只有台积电能做。

•载板封装：在一块普通的有机电路板（ABF载板）上，把计算芯片和内存芯片分开放置，中间用板上走线连通。布线精度5-10μm，成本低得多，日本揖斐电、新光电气都能做，国产也在追赶。

华为选择载板封装，不是因为它"更好"，而是因为它不受制裁限制，且能通过系统级优化弥补单点性能的差距。

2. HBM堆叠的"降维打击"：低代HBM能否等效高代HBM？

这是市场最关心的问题之一。华为的自研内存方案分为两个系列：

•HiBL（白露）：搭配950PR推理版，大容量（128GB）、中等带宽、低成本。

•HiZQ（朱雀）：搭配950DT训练版，高带宽（4TB/s）、大容量（144GB）。

核心原理是：用HBM1/HBM2级别的DRAM Die，通过增加堆叠层数（8-12层）、缩细内存访问粒度，配合"灵衢"互联协议和CANN编译器的系统级优化，在系统整体效能上达到甚至在某些场景下超越HBM3E的性价比。

这不是简单的"物理叠加"，更接近定制化的内存立方体（HMC）。它绕开了先进封装的产能瓶颈，更给SK海力士和三星72%暴利的HBM神话敲响了警钟：顶级AI集群，原来可以不依赖最顶级的单体HBM。

3. 长鑫存储：良率虽差，但"耐心资本"在加速

与此同时，长鑫存储（CXMT）也在政府"耐心资本"的支持下，以惊人的速度扩产。目前长鑫已触摸到HBM3的水平，虽然良率仅约25%（SK海力士超过80%），但其庞大的产能基数和直冲HBM3E的决心，正在从底层瓦解SK海力士和三星的定价权。

SK海力士和三星原本计划到HBM5代以上才考虑混合键合堆叠技术。但华为已经用HBM1/HBM2的折叠堆叠，在系统级实现了等效HBM3/3E的效果。如果8月昇腾950DT的实际表现验证了这一点，那HBM的高价神话就不再是"市场的鬼故事"，而是正在发生的真实威胁。

4. 8192卡超节点：光互联的真正价值

英伟达的NVL72/576非常强，但它的强是建立在单机柜内的铜线互联（NVLink）上。铜线在2米以内确实比光更好——时延更低、成本更低、功耗更低。但铜线的物理极限是5米，超出这个距离信号就严重衰减。

所以英伟达的架构是"两层制"：柜内NVLink紧耦合（72-576卡），跨柜走InfiniBand网络（效率断崖式下降）。

华为的Atlas 950 SuperPoD则瞄准了8192卡（2¹³ = 64卡/柜 × 128柜）。它的分层设计是：

•柜内（卡与卡之间）：仍以铜线为主，混合少量短距光互联

•跨柜（柜与柜之间）：纯光互联（灵衢协议），数十米到百米带宽不衰减

华为光互联的真正价值不是"比铜线快"，而是"让8192张卡都在同一个互联域内，没有通信断崖"。英伟达在72-576卡的尺度上无人能敌，但一旦需要更大规模，华为的架构优势就开始显现。

这对光模块行业是"双刃剑"：集群内部对定制化光器件需求暴增，但跨机架传统以太网交换机和通用光模块的需求反而被压缩。而且华为凭借20年光通信积累，自研光芯片+光模块+协议+交换芯片全栈垂直整合，外部光模块厂商能分到的蛋糕取决于华为愿意开放多少。

5. 当前状态与验证节点

需要冷静指出的是：Atlas 950 SuperPoD目前尚未正式交付（预计2026年Q4）。英伟达的NVL576已经在出货，全球客户已经在跑万卡甚至十万卡级别的集群。华为在架构理念上确实更超前，但"走在前面"和"跑通了"之间，还有Q4这个关键验证节点。

二、算力解耦：从"一颗芯片打天下"到"五类芯片分工"

1. 为什么必须分开？

随着大模型推理成本的飙升（推理占AI总支出的比例已从20%飙升到70%以上），英伟达那种"用最贵的芯片跑所有任务"的模式，在经济上越来越不划算。

用一颗全能芯片（比如B200）跑Decode，就像用法拉利送外卖——发动机90%的马力都在空转，你只用到了它的油箱（内存带宽）。这种浪费在推理规模小的时候可以忍，但当全球每天消耗万亿token时，就完全不可接受了。

2. 华为950的"硬件分叉"：行业首创

华为是第一个在硬件层面做了Prefill/Decode物理分离的厂商：

•950PR（推理版）：专攻Prefill（读题），搭配便宜大容量的HiBL内存。Prefill阶段瓶颈在算力，不需要昂贵的高带宽HBM。

•950DT（训练版）：专攻Decode（答题）+ Training，搭配4TB/s高带宽的HiZQ 2.0。

为什么Decode和Training放在一起？因为两者对硬件的需求高度重合——都需要极高的内存带宽（Decode反复读KV Cache，Training反复读写梯度和激活值）和大内存容量。而Prefill的瓶颈是算力，跟它们完全不同。

业界在软件层面已经在做Prefill-Decode分离（如vLLM的disaggregated prefill），华为是第一个在硬件层面就做了物理分离的。每一分钱都花在刀刃上。

3. 未来的五类芯片

类型	核心瓶颈	花钱花在哪	对HBM的依赖
Training（训练）	全都要	算力+带宽+互联全拉满	极高
Prefill（读题）	算力	算力核心	中等
Decode（答题）	内存带宽	HBM带宽或SRAM	高
推荐/检索	容量+随机访问	超大容量内存（CXL/DRAM）	低
MoE路由/Agent	通信交换	互联带宽+极低时延	低

注意最后一列：真正需要顶级HBM的只有Training和Decode，而后三类的算力消耗总量可能更大。这意味着HBM的可寻址市场（TAM）可能没有市场预期的那么大。

三、Cerebras深度拆解：极致的Decode偏科生

1. 从训练转向推理的真实故事

Cerebras WSE-3用一整片晶圆做一颗芯片，44GB片上SRAM，21 PB/s内存带宽。很多人以为它最初是"算力怪兽"，但实际上Cerebras从第一天起的设计哲学就是"消除数据搬运"，而不是"堆算力"。

它最初试图用这个能力加速训练——模型小的时候有效（放得进SRAM），但模型变大后失败（放不进了）。直到2024-2025年，它才找到了真正的生态位：Decode。

Decode阶段每次只算一个token，计算量极小，瓶颈100%在"读模型权重"上。21PB/s的SRAM带宽在这个场景下是绝对的碾压级优势。

2. 与AWS的异构分离式推理

Cerebras与AWS的合作模式是：AWS Trainium负责Prefill（读题）→ 传递KV Cache → Cerebras WSE-3负责Decode（答题）。

这是"异构分离式推理"的典型范例——不同芯片各司其职，用各自的长处覆盖对方的短板。

3. 44GB的天花板：致命还是够用？

模型规模	INT4量化后大小	能否放进44GB？
7B	3.5 GB	轻松
70B	35 GB	勉强（KV Cache空间极小）
405B（Dense）	200 GB	完全放不下
671B（MoE，激活37B）	~18 GB	放得下

目前靠量化+MoE刚好够用，但这是在钢丝上跳舞。而且一旦用到外部MemoryX（DRAM），21PB/s的神话级速度就大打折扣，优势从"碾压几十倍"缩小到"好一些但没有数量级优势"。

4. 长期威胁

如果HBM越来越便宜（华为和长鑫正在推动这件事），GPU方案通过堆更多HBM也能把带宽提到"够用"的水平。到那时，Cerebras的相对优势就会被稀释——不是因为别人追上了它的速度，而是因为别人证明了"不需要那么快也够用"。

华为的系统级方案（载板封装+光互联+大量卡协同）本质上就在做这件事：用"量×系统效率"来打Cerebras的"单点极致"。长期来看，系统级思路的生命力可能更强。

四、软件优化：硬件投资逻辑的"放大器"

1. KV Cache优化到底在做什么

大模型生成每个token时，都需要"回顾"之前所有token的信息。KV Cache就是把这些"回顾信息"缓存起来，避免重复计算。问题是：KV Cache太占内存了——100个并发用户、8K上下文，KV Cache可能就要250GB，比模型权重本身还大。

软件优化的核心手段包括：

•PagedAttention（vLLM）：像操作系统管理内存一样，按需分配KV Cache空间，利用率从50%提升到95%+。

•Multi-Head Latent Attention（DeepSeek）：从模型架构层面把KV Cache压缩到原来的1/8。

•投机解码：用小模型先猜几个token，大模型一次性验证，Decode速度提升2-3倍。

•Prefill-Decode分离调度：把读题和答题拆到不同机器上，避免互相干扰。

这些优化叠加起来，在同一块硬件上可能带来20-50倍的综合效率提升——比换一代硬件（2-3倍）大得多。

2. 为什么没有独立投资标的

但从投资角度看，纯做软件优化的独立公司几乎无法存活：

•如果你做了一个牛逼的KV Cache优化 → 英伟达会把它集成进TensorRT免费送

•如果你做了一个牛逼的调度框架 → 开源社区会在3个月内复制

•如果你做了一个牛逼的量化方案 → 模型公司会直接内化到自己的serving stack里

这就像操作系统的内存管理——极其重要，但你不会为它单独付费。

软件优化的真正价值，体现在"谁的全栈效率最高"。这也是为什么华为（硬件+CANN+灵衢）和英伟达（硬件+CUDA+TensorRT）的护城河最深——它们能把软件优化的红利完全内化为硬件的溢价。

五、新云厂商格局：算力食物链的全景图

1. 四层生态位

在算力基础设施这层，最近几年冒出了一大批高估值的新玩家。仔细拆解，它们处于完全不同的生态位：

第一层：芯片厂商（英伟达、AMD、华为、Cerebras）→ 卖芯片给下面所有人

第二层：算力房东（CoreWeave、Nebius、Lambda Labs）→ 买芯片建机房，卖裸GPU算力

第三层：调度平台（Anyscale/Ray、Modal）→ 不买GPU，提供分布式调度框架和开发者工具

第四层：推理API中间商（Together AI、Fireworks AI）→ 租GPU，部署优化引擎，卖推理结果

注意：第三层和第四层不是上下游关系，而是同层的不同商业模式——Together AI自己写了调度层（它的核心竞争力就在这里），不需要借助Anyscale或Modal。

2. CoreWeave与Nebius：AI时代的"新地产商"

	CoreWeave（CRWV）	Nebius（NBIS）
市值	~$550亿	~$550亿
2026年营收预期	~$120-130亿	~$30-34亿
核心客户	Meta（$210亿合约）、微软	Meta（$270亿合约）、大型AI公司
地域	北美为主	欧洲、中东、东南亚
差异化	纯算力 → 收购W&B做平台	算力+自研AI平台（继承Yandex技术）
上市状态	纳斯达克（CRWV）	纳斯达克（NBIS），前Yandex壳

CoreWeave收购Weights & Biases（$17亿），战略意图非常清晰：从"纯GPU房东"往上爬，开始做全栈AI云平台。它不想只当房东收租，它想当"AI时代的AWS"。

Nebius则从一开始就定位为"算力+平台"一体化，比CoreWeave"高"半层。两者都在疯狂扩张，但本质上是重资产生意，面临GPU贬值和周期性风险。

3. Together AI / Fireworks AI：高估值的逻辑与风险

Together AI估值超百亿美元，增速惊人。它们能在云厂商的夹缝中活下来，靠的是几个真实的短期壁垒：

壁垒一：中立第三方的信任。 AWS同时推自己的模型（Nova）和芯片（Trainium），客户担心被锁定。Together AI作为中立方，公平对待所有模型。这跟Snowflake的逻辑一样——AWS也有Redshift，但客户怕被锁定所以选Snowflake。

壁垒二：专注带来的迭代速度。 Meta发布Llama新版当天，Together AI几小时内就能上线优化版本。AWS Bedrock可能要等几周走内部流程。

壁垒三：轻资产的灵活性。不拥有GPU，全部租用。在AI硬件每年一代的迭代速度下，不承担GPU贬值风险反而是优势。

壁垒四：多云+多模型的聚合价值。客户同时用AWS上的Llama、Azure上的GPT-4、GCP上的Gemini，需要一个统一入口做智能路由、fallback、成本优化。

但长期风险也很真实：云厂商自己在做同样的事，开源工具（LiteLLM等）在降低门槛，推理价格持续暴跌压缩利润空间。它们的高估值，赌的是能在时间窗口关闭前积累足够的客户粘性。

4. 全栈化的终局

所有玩家都在往"全栈"方向挤：CoreWeave收购W&B往上走，Nebius从底层直接跳到上层，Together AI往下层渗透。边界越来越模糊。

最终能活下来的，要么是规模足够大的全栈平台（AWS、CoreWeave），要么是在某个极窄领域做到绝对第一（Cerebras做Decode速度、Ray做分布式调度标准）。夹在中间的"什么都做一点但没有绝对优势"的公司，长期处境会很艰难。

六、主线总结

梳理完从底层封装到上层云服务的完整链条，我们可以提炼出以下核心判断：

判断一：HBM高价神话极度危险。华为用"低代HBM多层堆叠+系统级优化"绕开了顶级HBM的依赖；Cerebras用SRAM彻底不用HBM；长鑫存储在"耐心资本"支持下暴力扩产。三条路线从不同方向夹击SK海力士的定价权。这不是鬼故事，而是正在发生的结构性变化。

判断二：中国算力已经"咬住"了。单兵作战能力（单卡算力）英伟达仍然领先4-5倍，但集团军作战能力（系统级有效算力）正在追平。DeepSeek用910B/910C训出不输GPT-4的模型，已经是既成事实。Atlas 950 SuperPoD如果Q4顺利交付，"中国训练不了最大模型"的叙事可能被改写。

判断三：算力走向专芯专用，通用GPU的"税"会被蚕食。未来在推理端，Prefill、Decode、推荐、路由等环节会跑出各自的定制化芯片。对HBM的需求会被分流——只有Training和Decode真正需要顶级HBM，其他场景用便宜内存就够了。

判断四：全栈协同才是终极护城河。软件优化无法独立变现，但它是硬件投资的"放大器"。谁能把芯片、互联、编译器、调度框架融为一体，谁就能通吃最大的红利。目前只有华为和英伟达具备这种全栈能力。

判断五：新云厂商在抢时间差，长期看底层基础设施。Together AI等中间商的高估值，赌的是AI推理爆发的速度快于大云厂商迭代的速度。短期博弈看爆发力，长期持有看底层（CoreWeave的重资产+长期合约锁定、Ray的框架标准化）。