为什么推理芯片突然成为风口

2025年下半年，国内推理算力租赁市场的价格曲线陡得让人咋舌——短短六个月，主流推理卡的单卡时租价格涨了近四成，部分紧俏型号甚至出现”一卡难求”的局面。而就在同一时期，一家成立仅一年多的国产推理芯片初创公司曦望科技宣布完成超10亿元人民币融资，投后估值轻松越过百亿门槛。这并非孤例。从硅谷到中关村的整条芯片赛道，资本正以惊人的密度向”推理”二字聚拢。

事实上，整个2025到2026年的AI产业版图，正在被一场静悄悄的”权力转移”重塑。如果说前两年的行业叙事属于训练——谁堆得起更多的GPU、谁的集群算力更强，谁就是大模型的王者——那么从2026年开始，聚光灯已经明确地转向了推理端。英伟达在GTC 2026大会上罕见地将”每瓦Token吞吐量”定义为AI时代的核心竞争力指标，这一提法本身就极具象征意义：当黄仁勋不再只谈训练集群的峰值算力，而是认真跟你掰扯”处理一个Token要花多少电”时，整个行业的天平已然倾斜。

推理芯片的火爆，归根结底是需求端的爆炸性增长在倒逼供给侧的结构性变革。2026年被行业公认为”AI智能体元年”，大模型从实验室里的参数竞赛走向了真实世界中的大规模部署——智能助手、代码生成工具、自动驾驶感知模块、工业质检系统，每一个应用场景都在以前所未有的速度消耗推理算力。一个直观的数据足以勾勒这股洪流的规模：中国的日均Token调用量在26个月内增长了整整1400倍。这不是渐进的线性增长，而是指数级的需求喷发，背后意味着巨量的推理芯片缺口。

全球科技巨头对此心知肚明，纷纷加速布局。高通推出了专为推理场景设计的AI200和AI250系列芯片，试图将其在移动端的低功耗优势延伸至数据中心。谷歌发布了代号Ironwood的新一代TPU，架构设计明确围绕推理负载进行深度优化，与其自研大模型Gemini的部署节奏形成闭环。国内赛道同样热度不减：寒武纪凭借在推理侧的多年积累迎来市值飙升，一波国产推理芯片公司密集冲刺IPO，资本市场用真金白银为这条赛道投票。

然而，热闹之余，真正理解推理芯片的人并不多。它与训练芯片究竟有何本质区别？GPU在推理时代是否仍将是”唯一答案”？高通、谷歌、英伟达三家路线各异，谁的方向更可能胜出？更重要的是，在这一轮推理芯片的竞赛中，中国厂商究竟处在什么位置，有没有可能实现真正的突围？

这篇文章将尝试回答这些问题。我们将从推理芯片的基本原理讲起，拆解它与训练芯片在架构层面的根本差异；梳理全球推理芯片的技术路线之争，分析各家的优势与软肋；聚焦中国赛道的真实格局，评估国产玩家在各个环节的竞争力；最后，我们将目光投向2028年及更远，研判这场芯片竞赛将如何定义AI产业的下一个十年。推理芯片的故事，才刚刚开始。

什么是AI推理芯片：从”学习”到”工作”的关键一跃

AI芯片的两大分工：训练与推理

如果你关注AI行业，一定听过”训练大模型”这个说法。ChatGPT、DeepSeek这些惊艳的产品背后，首先要经历一个漫长的”学习”阶段——用海量数据反复调教模型参数，这个过程可能需要数天甚至数周，消耗的电力足以供应一个小城市。这就是训练，它的目标是”学会”。

但模型学会之后，还要真正去”干活”——回答你的问题、识别图片里的猫、帮你规划路线。这个把训练好的模型部署到实际场景中、用新数据生成预测或决策的过程，叫做推理。训练是”学生备考”，推理是”毕业工作”。一个追求算力极致，一个追求响应极致。两者对芯片的要求截然不同：训练芯片需要在数据海洋中并行计算，依赖高带宽互联和海量的显存；推理芯片则更在意低延迟、高能效和低成本——毕竟，一张推理卡可能要在数据中心7×24小时运转数年。

一个值得注意的趋势是，推理正在接管AI计算的”主场”。据行业数据，当前企业部署中推理已占据超过60%的AI计算周期，而且这个比例还在持续攀升。AI推理芯片的市场规模在2024年约为310亿美元，预计到2032年将膨胀至1673亿美元，年复合增长率高达28.25%。可以说，训练是”烧钱造车”，推理才是”开门营业”。

推理芯片的核心工作原理

推理的计算流程可以这样理解：输入你的问题，模型经过层层计算，逐字生成回答。以大语言模型为例，它采用自回归生成的方式——每次只输出一个”词片”（Token），然后把这个词片附加到已有序列上，再运行下一轮计算。这就像是一个人在写文章时，写一个字停下来看看上下文，再写下个字。

这里就引出了一个核心技术挑战：KV Cache。

你可以把大语言模型的注意力机制想象成一个记忆力超群但有点死板的助手。每当你问他一个新问题时，他其实不需要重新回忆你之前说过的所有话——那些内容他早就记在心里了。KV Cache做的就是这件事：把已经计算过的历史信息缓存下来，避免重复劳动。没有这个机制，一个400词的输入搭配300词的输出，模型需要把前面的400词重新计算300次，简直是天文数字般的浪费。有了KV Cache，每步计算的复杂度从平方级降低到线性级，实测可带来5倍以上的速度提升。

不过KV Cache本身也有代价——它占用大量显存。一个70亿参数的模型在处理长上下文时，KV Cache可能吃掉16GB显存。这也是为什么推理芯片的设计中，内存带宽往往比纯算力更重要。业内有个形象的比喻：AI芯片的计算能力每两年增长3倍，而内存带宽只增长1.6倍——算力跑得再快，如果”管道”太细，水也流不出去。

衡量推理芯片好坏有四个核心指标。TOPS（每秒万亿次运算）代表理论算力，就像发动机的马力；延迟是单次推理的响应时间，直接决定用户体验；吞吐量是单位时间内能处理多少请求，关系到服务成本；能效比（每瓦性能）则决定了电费账单和散热压力。这四个指标之间往往存在此消彼长的关系，芯片设计者需要在它们之间走钢丝。

推理芯片的分类图谱

推理芯片的世界，可以从两个维度来”画地图”。

按部署位置分，有三层金字塔：

云端推理是”重型武器”，像OpenAI的GPT-4这样庞大的模型只能跑在数据中心里。边缘推理追求”又快又稳”——自动驾驶对延迟的要求通常在100毫秒以内，数据传到云端再返回显然来不及。端侧推理则是”螺蛳壳里做道场”，你手机里的AI翻译、语音助手，靠的是一颗功耗只有几瓦的专用芯片。

按技术架构分，则有四种”流派”：GPU是通用并行计算的”万金油”，生态成熟但功耗偏高，在推理场景下利用率往往只有30%到40%；ASIC（专用集成电路）为AI算法量身定制，像Google的TPU、华为的昇腾都属于这一类，推理能效比可达GPU的3到5倍，但灵活性较差；FPGA介于两者之间，可以编程重配，适合算法快速迭代的场景；NPU（神经网络处理单元）则模仿生物神经网络的计算方式，把原本需要数千条指令才能完成的神经元处理压缩到几条指令，在同等功耗下性能可达GPU的百倍以上。

一条完整的推理部署流水线通常是：训练好的模型先经过导出，再通过量化（把32位浮点数压缩到8位整型，模型体积缩小4倍）、剪枝（剪掉不重要的连接）、蒸馏（让小模型向大模型学习）等优化手段瘦身，最后用TensorRT、TFLite等推理引擎编译到目标硬件上运行。经过这一系列”减肥”，模型才能在手机、摄像头甚至可穿戴设备上流畅工作。

推理芯片与GPU：一场架构层面的”分工革命”

如果把AI芯片市场比作一场运动会，GPU就是十项全能选手——它能跑能跳能游泳，从图形渲染到科学计算无所不能。而推理专用芯片则是单项冠军，它只做一件事：把训练好的模型以最快速度、最低能耗跑出来。当”推理”成为AI商业化的主战场，我们是否真的需要一位十项全能选手来跑一场百米冲刺？

为什么GPU不是推理的最优解

GPU的核心架构叫做SIMT（单指令多线程），本质上是成千上万个小型计算核心在统一指挥下并行工作。这种设计让它在训练阶段如鱼得水——训练需要海量矩阵运算，GPU可以把所有核心马力全开。但进入推理阶段，事情发生了微妙的变化。

推理和训练是完全不同的两种负载。训练时模型参数在不断更新，计算密集且数据局部性好；推理时模型已经固定，面对的是逐Token生成的序列任务，每一步都要从显存中读取全部模型权重。一个700亿参数的模型以FP16精度运行，每生成一个Token需要搬运约140GB数据。NVIDIA H100的HBM带宽为3.35TB/s，仅数据传输就需要约42毫秒——这还没算计算时间。研究显示，在LLM推理的decode阶段，H100的SM利用率会从prefill阶段的92%骤降至30%，Tensor Core大量时间处于空闲状态，而内存总线已经满载。这种”算力闲置、带宽爆满”的状态，就是业界常说的”内存墙”。

更深一层的问题是架构层面的”结构性浪费”。GPU为了维持通用性，芯片上大量面积被复杂的控制逻辑占用——分支预测、多级缓存、线程调度器……这些对于通用计算至关重要，但在AI推理这种高度规则化的计算中，它们只是消耗硅片面积和功耗的冗余开销。Google TPU v1的控制逻辑仅占芯片面积的2%，而GPU的这一比例通常在20%以上。这种差异直接反映在算力利用率上：GPU在推理场景下往往只能达到峰值算力的30%至40%，而专用芯片可以达到70%至90%甚至更高。

专用推理芯片的架构优势

专用推理芯片走的是一条截然不同的路——领域专用架构（DSA）。核心思路很简单：既然推理的计算模式是固定的，为什么不把这部分逻辑直接固化到硬件中，把省下来的晶体管全部用于加速推理？

TPU采用的脉动阵列（Systolic Array）就是典型例子。数据像血液在血管中流动一样依次流经处理单元网格，每个单元执行一次计算就传递给下一个，无需等待中央内存访问。Etched Sohu更加激进——它直接取消了可编程的矩阵乘法单元，用物理电路实现Transformer的Attention计算，消除了kernel launch延迟、内存分配和调度器决策的全部开销，声称可实现超过90%的FLOPS利用率。

数据流架构是另一个关键创新。研究表明，从DRAM获取数据的能耗是从片上寄存器获取的约200倍，因此推理芯片设计的核心不在于增加计算单元，而在于减少数据搬运。业界发展出三种经典模式：权重驻留（Weight Stationary）将模型权重固定在计算单元内，适合权重被反复重用的场景；输出驻留（Output Stationary）将中间结果保留在片上直到累加完成；行驻留（Row Stationary）追求三种数据类型的均衡复用。针对Transformer特性，研究者还提出了输出块驻留模式，相比传统方案可降低6.7倍内存访问和三分之一的功耗。

内存子系统的设计同样体现了分化。Groq LPU将230MB SRAM直接集成在芯片上，内部带宽高达80TB/s，是H100的约24倍。Cerebras WSE-3更将整个晶圆做成一颗芯片，集成44GB片上SRAM。三种方案各擅胜场：HBM覆盖大模型需求，LPDDR主打低成本边缘场景，片上SRAM则是超低延迟的终极方案。

性能对比：数字说话

Groq LPU的对比最为直观。在Llama 3 70B模型上，其首Token延迟仅约18毫秒，而同等GPU云部署需要200至400毫秒，快了10到20倍。SambaNova SN40L在8路配置下推理性能超过DGX H100达3.7倍，能耗降低3倍，模型托管成本降低19倍。能效方面，GPU通常为10至50 TOPS/W，TPU为50至100，专用ASIC可达100至1000——差距达10到100倍。每Token能耗，Groq LPU仅需1至3焦耳，GPU推理则需要10至30焦耳。

不过GPU并非全面处于下风。当batch size提升到256时，H100的Llama 70B吞吐量可飙升至约45000 tok/s，这是专用芯片难以比拟的。专用芯片赢在低延迟，GPU赢在高并发批处理——这是两种服务于不同商业场景的技术路线。

适用场景边界：不是取代而是分工

模型训练完全属于GPU的领域——专用推理芯片大多不支持反向传播和梯度计算，PyTorch、JAX等框架生态也深度绑定CUDA。多模态处理、灵活实验的研究环境、以及大批量离线批处理任务，同样是GPU的优势区间。

但以下场景，专用芯片正在快速蚕食GPU的领地：实时对话AI（首Token延迟低于300毫秒的要求）、大规模在线推理API服务、以及对能效极度敏感的数据中心部署。IDC预测，定制ASIC在推理市场的出货量增速预计在2026年达到44.6%，几乎是GPU增速16.1%的三倍。

混合架构正在成为头部AI公司的默认选择：GPU负责训练、微调和批量离线推理，专用ASIC负责面向用户的实时低延迟推理。这不是一场你死我活的战争，而是一次理性的产业分工——当市场规模足够大时，每种架构都会找到最适合自己的位置。

从训练到推理：AI算力需求的结构性大转移

2024年初，中国每天调用大模型的Token总量还在1000亿级别徘徊；26个月后的2026年3月，这个数字飙升到了140万亿——增长超过1400倍。这不是某个实验室的理论推演，而是国家数据局公布的官方数据。如果把每一次Token调用看作一次微小的”数字心跳”，那么中国AI系统的脉搏频率已经从散步骤变为百米冲刺。更惊人的是，摩根大通预测到2030年，中国AI推理Token消耗量将在2025年的基础上再增长约370倍。算力需求的重心，正在以前所未有的速度从训练端向推理端倾斜。

推理需求爆发的三大驱动力

这场结构性转移的第一推动力，来自大语言模型的普及化。2024年，中国企业级市场大模型日均Token消耗量为10.2万亿，仅仅半年后就暴增363%。字节跳动的豆包模型日均处理Token从数千亿迅速攀升至4万亿，7个月内增长33倍。腾讯管理层在财报会议上坦承：用户推理需求的持续上升已经超过了现有GPU资源的供给能力。模型不再是实验室里的展品，而是变成了水电一样的基础设施。

第二个推力来自AIGC应用的规模化落地。从ChatGPT的现象级爆发到企业内部AI助手成为标配，推理正在从”偶尔使用”变成”日常刚需”。《全国数据资源调查报告》显示，2025年全年词元累计调用量达到约21100万亿。2026年春节前后，AI红包、智能体应用的大规模普及更是让推理算力需求在短时间内激增到训练需求的5到10倍。推理不再是训练完成后的”附属动作”，它已经自成体系、自我驱动。

但最强劲的催化剂是第三个力量——智能体的崛起。Gartner在2026年3月的分析中确认，Agentic AI模型每完成一个任务所需的Token量，比标准聊天机器人多5到30倍。硅谷投资人张璐在AIGC2026峰会上有一个精准的判断：从聊天对话交互到智能体交互的转变，将使推理算力需求更具可持续性且更加大量。如果说传统AI交互是”一问一答”的单轮对话，那么智能体则是”自主规划—执行—反馈”的多轮循环，单次任务可能涉及数十到数百次模型调用，推理消耗的放大效应可想而知。

Scaling Law的演进：从”堆模型”到”堆推理”

要理解这场算力转移的深层逻辑，必须回到AI领域最基础的规律——Scaling Law。

最初的Scaling Law简单直白：模型越大、数据越多、训练时间越长，性能就越好。GPT-4的训练消耗了约2.15e25 BF16 FLOPS，需要2.5万张A100运行100天。但这条路径正在遭遇边际收益递减的瓶颈，前沿模型的训练甚至可能在2030年前碰到电力供给的天花板。

2024年9月，OpenAI发布o1模型，开启了Scaling Law的第二次进化——推理时计算缩放。核心洞见极具颠覆性：与其在训练阶段无限堆资源，不如在模型回答问题的阶段投入更多算力。OpenAI研究员Noam Brown在NeurIPS 2024上分享了一个震撼的对比：在他的扑克AI研究中，让模型多思考20秒，获得的性能提升大致相当于将模型规模和训练数据放大10万倍。o1在AIME数学竞赛中的准确率从GPT-4o的12%跃升至83%，后续的o3更是达到96.7%。DeepSeek-R1则以纯强化学习实现了相近水平的推理能力，用完全不同的技术路线验证了这一范式的普适性。

2026年，Scaling Law正在进入第三阶段——Agentic Scaling。智能体的工作负载与之前的任何AI应用都截然不同：它需要保持跨分钟甚至跨小时的会话状态，需要在不同规模的模型之间动态切换，工具调用的循环模式会产生不可预测的突发算力需求。研究表明，Agent工作负载中LLM推理占执行时间的71%到98%，失败Agent往往比成功Agent产生更大的上下文——最高可达1.8倍。NVIDIA CEO黄仁勋在GTC 2025上的判断因此毫不为过：由于Agentic AI和推理的驱动，我们目前所需的计算量轻松达到了去年同期预期的100倍。

市场规模与Token经济学

需求爆发直接反映在市场规模上。2025年全球AI推理市场规模约为1200亿美元，业内普遍预计到2034年将达到近5000亿美元，年复合增长率约17%。TrendForce的数据显示，2026年北美五大云服务商的训练算力年增56%，而推理算力年增122%——推理增速正好是训练的两倍多。到2026年，推理计算需求将达到训练需求的4.5倍，占AI总计算需求的70%以上。联想董事长杨元庆的判断正在应验：当前70%到80%的AI算力用于训练，但未来推理将占到70%以上。

然而，市场规模的数据背后隐藏着一个更深层的悖论。过去两年，单Token推理成本下降了280倍，OpenAI的o3模型甚至在一年内降价80%。但吊诡的是，OpenAI的推理支出从2024年的37亿美元飙升至2025年的近90亿美元，涨幅超过2.4倍。企业AI总支出同期增长了320%，推理占企业AI预算的比例从2023年的40%跃升至2026年的85%。

这正是160年前英国经济学家杰文斯在《煤炭问题》中描述的经典悖论：当技术进步提高了资源利用效率，反而可能导致资源总消耗量增加。微软CEO纳德拉在DeepSeek震动硅谷后发了一条推文——“杰文斯悖论时刻再次上演！随着AI变得更高效、更易获取，我们将看到使用量飙升。”成本门槛的坍塌激活了长尾市场，医疗影像分析、工业质检等场景快速普及；DeepSeek的开源生态让中小企业能以极低门槛部署大模型；而应用层从单一模型调用升级到多智能体协作、长期记忆、实时检索，每一次复杂度升级都在吞噬更多算力。

单Token越来越便宜，但企业为AI支付的总账单却越来越厚。这不是矛盾，而是规律。

国际玩家格局：NVIDIA一家独大，ASIC群起而攻

NVIDIA：从训练之王到推理霸主

如果把AI芯片市场比作一个江湖，NVIDIA就是这个江湖中无人能忽视的”武林盟主”。这家成立于1993年的公司，用二十多年的时间构建了一座令竞争对手望而生畏的生态帝国。在推理战场上，NVIDIA正将这种统治力从训练端延伸到部署端。

2024年发布的Blackwell架构是NVIDIA推理战略的关键转折点。B200芯片在MLPerf标准化测试中实现了较前代H100最高4倍的推理吞吐量提升，其秘密武器在于对FP4超低精度的原生支持——这意味着在几乎不损失模型精度的前提下，内存占用和计算密度可以同时翻倍。而对于下一代Vera Rubin架构，NVIDIA已经放出了50 PFLOPS FP4算力的目标数字，相当于B200的两倍有余。更值得关注的是，NVIDIA在2025年底以200亿美元收购了Groq的核心资产，这笔史上最大交易将Groq的确定性低延迟架构收入囊中，黄仁勋在GTC 2026上更是宣称，Groq LPU与Rubin GPU的协同部署可在极致推理速度场景下带来最高35倍的能效提升。

NVIDIA真正的护城河并不在于某一款芯片的性能优势，而在于CUDA生态。这个始于2006年的并行计算平台，经过将近二十年的积累，已经形成了教科书级的开发者锁定效应。全球绝大多数AI工程师在CUDA上编写代码，PyTorch、TensorFlow等主流框架优先对CUDA进行深度优化，TensorRT-LLM、vLLM等推理引擎构建了完整的生产级部署栈。对于企业而言，迁移到非CUDA平台意味着重新培训团队、重写代码、调试性能，这种隐性成本往往远超硬件采购价差。短期内，这条护城河难以被正面突破。

但霸主也有软肋。美国对华出口管制使NVIDIA在中国这个全球最大的AI芯片市场的份额从巅峰时期的95%骤降至约55%，特供版H20在性能上已难以满足前沿需求。更重要的是，GPU本质上是一种”通用武器”——它既要应付训练又要承担推理，大量晶体管在推理时处于闲置状态，能效比远不如专用架构。而ASIC阵营正在抓住这个软肋，发起一场规模空前的围攻。

Google TPU：云推理的先行者

在ASIC阵营中，Google是最早的玩家，也是最成功的玩家。自2015年第一代TPU问世以来，Google已经在这条路上走了整整十年。2025年发布的TPU v7 Ironwood标志着一次战略转向——这是Google首款专为推理设计的TPU，不再是训练推理兼顾的”万金油”，而是一把锋利的”手术刀”。

Ironwood单芯片提供4,614 FP8 TFLOPS算力和192GB HBM3e，能效较前代Trillium提升整整一倍。Google将其扩展至9,216颗芯片组成的超级集群，聚合HBM容量达到惊人的1.77PB。更引人注目的是Anthropic的承诺——这家OpenAI最大的竞争对手计划到2026年部署超过100万颗Ironwood芯片用于Claude推理，成为首个七位数ASIC部署量的外部客户。一个具体的成本故事更能说明问题：Midjourney从NVIDIA A100/H100迁移到Google TPU v6e后，月度计算费用从210万美元砍至70万美元以下，年化节省超过1,600万美元。

TPU的核心竞争力在于其脉动阵列架构。这种由65,536个ALU组成的矩阵乘法引擎，专门为Transformer架构的计算模式进行了深度优化。就像一条精心设计的流水线，数据在ALU之间流动时即可完成计算，无需反复读写外部内存，从根本上减少了数据搬运开销。Google还在2026年4月发布了TPU 8t和TPU 8i，首次将训练和推理芯片的SKU完全分离，推理专用版本配备更大HBM和384MB片上SRAM，这一举措在业内尚属首创。

挑战者们：各路英雄的差异化突围

如果说NVIDIA是全能型冠军，那么其他挑战者们则选择了”以己之长攻彼之短”的差异化策略。

AMD MI300X的打法简单粗暴——用内存容量碾压对手。192GB HBM3在发布时几乎是H100 80GB的2.5倍，意味着70B参数的模型在FP16精度下可以完整塞进单张卡，无需跨卡通信。Meta已经将100%的实时Llama 405B推理部署在MI300X上，Oracle更是部署了多达131,072颗的Zettascale集群。2026年，AMD与Meta达成60至100亿美元的多年合作协议，还与OpenAI签署了6GW MI450部署协议——这是AMD史上最大订单，标志着它已从”NVIDIA的替补”蜕变为”战略第二来源”。

Qualcomm则走了另一条完全不同的路线。AI200和AI250采用LPDDR内存而非HBM，单卡支持768GB容量，是B200的四倍。代价是带宽大幅降低，但Qualcomm主打的是”每美元Token数”这一性价比指标，目标客户是那些对绝对延迟不敏感、但对成本极度在意的推理场景。其首个数据中心客户沙特HUMAIN计划从2026年起部署200MW的AI200机架方案，若如期完成，这将为Qualcomm带来约30亿美元的收入机会。

Groq的故事最为戏剧性。这家由前Google TPU核心设计者Jonathan Ross创立的公司，采用了极端的片上SRAM架构——将模型权重完全驻留在芯片内部，通过编译时确定性的内存调度，实现了18毫秒的首Token延迟，而传统GPU云部署通常需要200至400毫秒。750+ tokens/s的Llama 3 70B推理速度在独立测试中获得了验证。然而，SRAM的容量限制使其只能处理中小型模型，硬件成本也居高不下。最终，Groq选择以200亿美元将自己”嫁给”了NVIDIA，创始人及核心团队加入老黄麾下。这笔交易既解决了NVIDIA在极致延迟场景的产品线空白，也消除了一颗潜在的竞争威胁。

Cerebras和SambaNova则代表了更为激进的架构创新。Cerebras的WSE-3是全球最大的商用AI芯片，一整片晶圆上集成了4万亿晶体管和90万个AI核心，44GB片上SRAM配合21PB/s的内存带宽——这个数字是H100的约7,000倍。SambaNova的SN40L则采用独特的三层内存系统，在单节点即可运行5万亿参数模型，模型切换速度比传统架构快31倍。2026年5月，Cerebras以近950亿美元市值完成IPO，首日暴涨68%，证明了资本市场对颠覆性架构的青睐。

云厂商自研芯片：一场生态掌控权的暗战

在NVIDIA与各路芯片厂商正面交锋的同时，另一场更为隐秘但影响深远的战争正在云厂商内部展开。AWS、Azure、Google Cloud、Meta——这些NVIDIA最大的客户，正在集体摆脱”高端显卡分销商”的角色，转而成为芯片设计者。

AWS的Trainium3于2025年底正式商用，采用台积电3nm工艺，单芯片2.52 PFLOPS FP8，144GB HBM3e。 Inferentia2实例比同类GPU实例推理成本低40%，Uber在2026年选择Trainium3正是看中它比NVIDIA便宜50%的报价。Microsoft的Maia 200在2026年1月亮相，216GB HBM3e的配置甚至超过了B200，Nadella亲自站台称Maia比市场上任何AI芯片都便宜30%，且已投入生产运行GPT-5.2和Microsoft 365 Copilot。Meta的MTIA v2则专注于推荐系统和广告推理——这个场景虽然不如大语言模型 glamorous，却是Meta每天消耗数十亿次推理请求的核心业务。

云厂商自研芯片的背后，是三重战略考量。最直接的是成本：当年度芯片采购金额以百亿美元计时，哪怕降低20%的单位成本，节约下来的资金也是天文数字。其次是供应链安全——把所有算力押注在单一供应商身上，对任何一家科技巨头来说都是不可接受的风险。OpenAI 2027至2030年的计算基础设施蓝图就是一个典型案例：Broadcom设计的XPU 10GW、AMD MI450 6GW、Cerebras WSE 2GW、NVIDIA系统10GW，NVIDIA的占比被刻意控制在约38%。

更深层的博弈在于生态掌控权。当云厂商拥有自己的芯片，他们就可以定义服务的形态、定价的模型、甚至技术栈的标准，而不必受制于人。行业预测显示，超大规模自研芯片将在2027年占据数据中心AI计算15%至25%的份额，NVIDIA的市场占有率则可能从巅峰时期的95%滑落至75%至80%。这个数字的变化，本质上反映的是权力格局的转移——从芯片厂商主导，走向云厂商与芯片厂商共同定义的游戏规则。对NVIDIA而言，真正的挑战或许不是某一款ASIC的性能超越，而是客户们纷纷变成了竞争对手。

国产玩家全景：华为领跑，百家争鸣

市场格局：国产替代的加速拐点

2025年是中国AI芯片市场格局发生根本性逆转的转折之年。据IDC数据，全年中国云端AI加速卡总出货量约400万张，国产厂商交付165万张，本土市场份额达到41%，首次突破四成关口。而在三年前，国产份额还不足15%，英伟达占据约九成市场。

英伟达的滑落速度超出预期。2024年其在中国市场份额仍约70%，到2025年已跌至55%，一年间下滑15个百分点。Bernstein Research预测，到2026年英伟达在华份额可能进一步萎缩至8%，华为则将占据半壁江山。

国产阵营内部，格局已清晰分化为三个梯队。华为昇腾以81.2万张出货量断层领跑，贡献国产阵营近一半出货量；阿里平头哥以26.5万张位居国产第二；百度昆仑芯与寒武纪各约11.6万张并列第三。值得关注的是，2025年非GPU加速卡在中国AI服务器市场的占比已超过40%，ASIC专用架构凭借推理场景的能效优势，成为差异化突围的核心力量。

华为昇腾：国产推理芯片的”顶梁柱”

如果国产AI芯片阵营是一支军队，华为昇腾无疑是绝对的主力。81.2万张的出货量不仅稳居国产第一，更意味着它一家的销量就超过了所有其他国产厂商的总和。

华为的崛起靠的是全栈自研的系统级能力。从达芬奇架构的昇腾芯片，到CANN异构计算架构，再到MindSpore深度学习框架，华为构建了国内唯一覆盖”芯片—框架—平台”全链条的AI生态。2025年12月CANN全面开源，开发者规模已达180万。

在芯片层面，昇腾910C采用Chiplet多Die封装，集成530亿晶体管，单卡FP16算力达640 TFLOPS，约为英伟达H20的2.87倍。更具战略意义的是CloudMatrix 384超节点——384颗昇腾910C通过超高带宽统一总线全互联，累计部署超300套，在系统级性能上实现了对英伟达NVL72的对标甚至局部超越。

华为的另一张王牌是”昇腾云”算力租赁模式。企业通过华为云按需使用国产AI算力，无需直接采购硬件，既绕开了产能交付瓶颈，又降低了试用门槛，形成了”云+芯”的闭环。

ASIC阵营：寒武纪、平头哥、昆仑芯

寒武纪的故事最具戏剧性。这家曾被嘲讽为”PPT芯片”的公司，2024年Q4首次实现单季盈利，2025年全年净利润达20.59亿元，终结了连续八年亏损。思元590推理性能约为A100的70%到80%，毛利率超55%。但隐忧同样明显：最大客户字节跳动预采购量达20万片，客户集中度极高。市值一度突破8400亿元、市盈率超5000倍的估值水平，也让”寒王”的狂热中掺杂了几分泡沫。

阿里平头哥走的是”芯云一体”路线。真武810E性能超过A800、接近H20，BOM成本降低约40%。2025年累计交付47万片，覆盖超400家企业，阿里计划未来三年投入超3800亿元用于AI芯片研发，这一体量是任何独立厂商都无法比拟的。

百度昆仑芯的差异化在于场景验证。百度搜索每天处理数十亿次查询，广告推荐系统需要毫秒级响应，昆仑芯在这些场景中经过了最严苛的实战检验。2025年外部业务收入已超过对百度内部供货，3.2万卡集群实现长期稳定运行。

GPU四小龙：海光、沐曦、摩尔线程、壁仞

海光信息是国内唯一同时拥有x86 CPU和GPGPU DCU的芯片企业。深算系列凭借类CUDA兼容性和x86生态优势，成为政务云和金融行业国产替代首选。2024年DCU收入同比增长210%，整体营收突破91.6亿元，政务云市占率超40%，是国产AI芯片企业中盈利最稳定的一家。

沐曦、摩尔线程和壁仞代表了创业公司的激进路线。沐曦2025年12月科创板上市首日大涨693%，核心策略是兼容ROCm生态，让客户以最低迁移成本切换国产GPU。摩尔线程由前英伟达全球副总裁创立，2025年营收同比增长243%，拿下6.6亿元万卡集群订单。壁仞科技最具戏剧性——被列入实体清单后营收反而增长207%，其Chiplet封装技术成为国产GPU中最早实现商用的代表。三家公司毛利率均超50%，但都面临CUDA兼容、软件生态薄弱和持续亏损的挑战。

新兴力量：从自动驾驶到推理专用

地平线和黑芝麻是自动驾驶芯片的佼佼者。地平线征程6在国产车载AI市场市占率超60%，随着自动驾驶模型向云端延伸，这些在边缘侧积累了低功耗、低延迟优化经验的厂商，正将能力带入云端推理市场。

曦望则是另一条值得关注的新路线。这家从商汤科技大芯片部门分拆出来的独角兽，2024年底独立后估值即超百亿元。与”训推一体”的主流路线不同，曦望从成立之初就All-in推理赛道。2026年1月发布的启望S3推理GPU，推理性能较上一代提升5倍。在Agent推理负载与传统LLM推理出现本质差异的当下，专注推理的”特长生”路线正踩在正确的时点上。

国产芯片的真实差距

单卡性能层面，国产芯片算力约为英伟达A100/H100的50%到80%。但DeepSeek V4实测数据显示，集群优化后华为昇腾950PR的单位算力推理吞吐已能超越H100上的SGLang默认配置，系统级性能可达国际旗舰产品的90%甚至局部超越。问题在于，这种超越需要付出功耗和占地面积的代价，且对软件优化的依赖程度远高于英伟达方案。

软件生态的差距更为深远。CUDA经过20年积累，支持超1200个AI框架，全球开发者数以百万计。国产软件栈虽然都在快速迭代，但整体成熟度仍有3到5年的差距。2025年DeepSeek V4实现了8家国产芯片的Day0适配，标志着从”被动适配”走向”同步研发”，但距离真正的生态自主性还有很长的路要走。

制程限制是最深层的制约。国产AI芯片主要以7nm工艺为主，英伟达Blackwell已进入3nm时代。中芯国际通过DUV多重曝光和Chiplet技术在N+2工艺上实现了90%以上良率，承接了昇腾910C的量产，但成本较EUV方案高出20%到30%。先进封装和Chiplet技术正在成为绕开制程限制的现实选择，但在中长期，先进制程的突破仍是决定天花板高度的核心变量。

国产AI芯片产业正处于微妙的十字路口。41%的份额、首次盈利、密集上市，都标志着产业已进入正向循环。但部分厂商仅靠单一客户支撑业绩，资本市场的估值狂热也提醒这个市场仍带着初创期的青涩。未来三到五年，将是从”国产替代”走向”技术领先”的关键窗口期。

软件生态：看不见的竞争高地

在AI芯片行业有一个不成文的共识：做硬件只需要三五年，建生态却可能需要二十年。一颗芯片从流片到量产不过十八个月，但围绕它构建一套开发者愿意用、企业敢用的软件栈，往往需要十年以上的持续投入。这也是为什么NVIDIA的CUDA护城河，至今仍是所有竞争对手最难翻越的那道墙。

CUDA护城河：NVIDIA最坚固的防线

CUDA生态的可怕之处不在于某项技术有多领先，而在于它已经形成了一个”重力场”。自2006年推出以来，CUDA积累了超过400万开发者和一整套环环相扣的工具链——从底层的cuBLAS、cuDNN数学库，到中层的TensorRT推理引擎，再到上层的PyTorch原生支持。更关键的是人力资本的锁定效应：大学里教的是CUDA，学术期刊上发表的是CUDA代码，整整一代AI工程师的职业技能建立在平台上。对企业而言，迁移意味着代码重写、团队再培训和生产管道的重建，隐性成本远超硬件本身。

在大模型推理时代，框架层面的竞争同样围绕CUDA展开。vLLM凭借PagedAttention创新成为开源界的事实标准，GitHub星标超过6.5万；SGLang和TensorRT-LLM各据一方。但这些框架最初都为CUDA优化，国产芯片想要分一杯羹，必须从框架适配层开始”补课”。

国产软件栈：从”能用”到”好用”的跨越

国产厂商各自给出了不同的解法。华为昇腾走全栈自研路线，CANN架构加MindSpore框架，社区已突破400万人，是目前最成熟的国产替代。寒武纪NeuWare在推理场景积累较深，训练侧仍有短板。沐曦MXMACA选择兼容路线，声称实现92.94%的CUDA项目无缝迁移。海光DCU依托”类CUDA”环境降低迁移门槛。

方案虽多，核心问题始终悬而未决：各自为政。每家都有自己的驱动、编译器和工具链，互不相通。这种碎片化不仅抬高了开发者的学习成本，也让国产生态的整体战斗力打了折扣。跨平台方案如HIP、SYCL提供了”借道”的可能，但本质上仍在NVIDIA定义的范式下运行，性能差距短期内难以抹平。

DeepSeek的催化效应

真正让局面出现转机的，是DeepSeek的出现。2025年初DeepSeek-R1的开源发布震动了整个行业——它不仅证明了国产大模型的性能实力，更用UE8M0 FP8精度格式告诉市场：国产芯片和国产模型完全可以深度协同。这个看似细微的技术选择，让同样的硬件能跑出更大的模型，成为中国首个自主定义的AI计算底层标准。

国产芯片厂商的响应速度前所未有。DeepSeek新版本发布当天，寒武纪4分钟内宣布适配完成，华为昇腾同步实现”Day 0支持”并开源全部推理代码，至少20家厂商迅速跟进推出一体机。“国产芯片+国产模型+国产框架”的全栈国产化闭环，正在从理想照进现实。生态建设的飞轮，终于在国产阵营中开始转动。

地缘政治与国产替代：制裁催生的”意外红利”

出口管制的演进时间线

2022年10月，美国商务部一纸禁令，将英伟达A100、H100等高端GPU列入对华出口限制清单。这仅是开始。2023年10月，管制升级——A800、H800被一并禁售，壁仞科技、摩尔线程等13家中国AI芯片企业纳入实体清单。英伟达被迫推出性能缩水至H100约三成的”中国特供版”H20，却仍在2025年4月遭遇无限期禁售。四个月后，经黄仁勋密集游说，H20获准恢复出口，但附加条件是英伟达须将销售额的15%上交美国政府。到了2025年底，H200虽获放行，却又面临25%的芯片关税。从A100到H20，从硬禁令到”芯片税”，管制手段在不断变换面孔，但核心目标始终未变。

耐人寻味的是政策逻辑的微妙转向。从最初的”硬脱钩”一刀切，到2025年以来的”软管控”——关税、配额、收入分成并行——美国似乎意识到，完全封锁反而在加速对手的成长。英伟达在华份额从2022年的95%一路下滑，黄仁勋本人也坦承已接近归零。特供芯片业务累计产生约100亿美元资产损失。一场精心设计的遏制战略，却在客观上为中国本土芯片产业腾出了市场空间。

制裁的反效果：国产芯片的”飞轮效应”

制裁产生的最意外后果，是激活了国产芯片的”飞轮效应”。所谓飞轮，指的是一个正向循环：客户被迫采购国产芯片→在真实场景中暴露问题→反馈驱动产品快速迭代→性能提升吸引更多客户→进一步丰富反馈数据。每一个循环都在加速，越转越快。

这个飞轮的启动，恰恰是被制裁”推了一把”。壁仞科技2023年10月被列入实体清单后，台积电终止了先进制程合作，看似是致命一击，结果2024年营收从6200万元飙升至3.37亿元，增长443%。摩尔线程同期被列入实体清单，2025年12月登陆科创板首日暴涨425%，市值突破3300亿元。制裁反而成了”国产认证”的金字招牌——被美国政府认定值得封锁的技术，恰恰证明了你值得信任。

更深层的驱动力在于，制裁迫使政府、运营商、互联网公司这些原本”崇洋”的大客户，不得不给国产芯片真实的部署机会。而芯片这个产业，没有真实场景反馈，迭代就无从谈起。2025年，国产AI加速卡出货165万张，市场份额突破41%，至少有9家企业出货量超万卡。Bernstein Research预测，2026年华为昇腾一家就将占据中国AI芯片市场50%的份额，英伟达在华份额可能跌至8%。这个预测是否准确有待验证，但趋势已经明朗。

供应链自主化的突破与挑战

国产替代的故事不能只看市场数字，更要看产业链底层的能力构建。

在晶圆制造端，中芯国际通过DUV多重曝光技术实现的N+2工艺（等效7nm）已突破90%良率，成为华为昇腾910C的核心代工厂。虽然这条路线比EUV方案复杂30%、成本高50%，但它证明了”没有最先进光刻机也能造出能用的芯片”。在先进封装环节，长电科技的XDFOI Chiplet平台已实现4nm级量产，良率99.5%。Chiplet技术——将多颗小芯片通过先进封装集成——正成为绕过制程限制的关键路径。华为昇腾910C正是将两颗910B封装在一起，实现了接近H100八成的性能。

但瓶颈同样真实。光刻机方面，国产28nm DUV虽已突破，但EUV光源距离量产仍有数年之遥。EDA工具方面，华大九天已能支撑模拟电路全流程设计，但进入5nm以下的数字芯片设计领域，国产化率仍不足5%，Synopsys、Cadence的壁垒远未动摇。大基金三期3440亿元的资金弹药，70%将投向设备与材料环节，恰恰说明这些才是最痛的短板。

从产业链的全景来看，国产替代已经走过”有无”的阶段，进入”好不好”的深水区。制裁打开了一扇窗，但窗口能开多久、屋里能亮多少，终究要看底层技术的真功夫。

未来展望：智能体时代，推理芯片走向何方

站在2026年年中回望，AI推理芯片产业正在经历一场静默而深刻的权力转移。如果要为这场变局锚定五个确定性坐标，它们会是这样：

第一，推理吞噬训练。2025年全球AI工作负载中推理占比已达73%，IDC预测到2028年训练工作负载将降至27%。当大模型的”造铲子”阶段让位于”用铲子”阶段，推理芯片将成为AI算力市场的绝对主力。第二，ASIC强势崛起。IDC预测ASIC在推理市场的份额将从15%攀升至40%，若从成本优势和功耗效率的演进逻辑推演，这一数字最终可能触及80%。第三，内存-centric架构。一个残酷的事实是：计算能力每两年增长3倍，内存带宽仅增长1.6倍，推理的瓶颈早已不是算力，而是数据搬运的速度。分层内存设计——SRAM、HBM、DDR5、CXL扩展——正从锦上添花变成核心竞争力。第四，Agent原生芯片将出现。智能体的推理负载与传统大模型有本质差异：高并发小请求、快速KV Cache切换、长上下文维持，这些特征呼唤专门为智能体设计的全新品类。第五，国产替代已不可逆。制裁意外加速了”采购-反馈-迭代”的正循环飞轮，国产芯片正从”可用”走向”好用”，即使未来管制放松，客户回头的成本也已高到不划算。

但热潮之下，冷思考不可或缺。二级市场上，寒武纪市值一度逼近8400亿元，市盈率超过5000倍，是英伟达的数十倍。Omdia预测2025至2026年已是AI基础设施快速增长的末期，产业周期正在接近峰值。这意味着什么？超百家AI芯片公司中，仅有软件生态壁垒和架构差异化足够深的厂商能穿越周期，其余大概率将被并购或淘汰。参考2000年互联网泡沫的历史，半导体板块资本支出占比已超越当年的39%峰值，泡沫的确定性正在累积。短炒国产叙事的投资者应当清醒：真正的竞争不是”谁更爱国”，而是”谁能让模型跑得更快更省”。

归根结底，AI推理芯片是一条万亿级别的超级赛道，但技术路线远未收敛，产业格局仍在剧烈演变。中国厂商面临三重核心变量的考验：软件生态能否从”兼容CUDA”进化到”定义标准”？先进制程在管制高压下能否继续突破？智能体应用的爆发速度是否足够支撑起整个估值体系？