夜雨聆风原文链接🔗：
https://io-fund.com/ai-stocks/nvidia-ai-battle-tokens-per-watt
这篇文章的核心结论是：
AI推理竞争正在从“谁的芯片算力更强”，转向“谁能在有限电力下生成更多Token”。而决定“每瓦Token数”的关键瓶颈，正从GPU算力转向内存、KV Cache和数据搬运效率。
原文：Why Nvidia’s Next AI Battle Is About Tokens per Watt，发表于2026年7月10日。
一、为什么“每瓦Token数”越来越重要
文章把AI推理的商业模式简化为：
* Token代表收入端：生成的Token越多，可服务的用户和请求越多。
* 电力代表成本端：GPU运行、散热、供电都离不开电。
* 每瓦Token数越高，意味着在相同电力条件下创造更多收入。
随着微软、谷歌、Meta、亚马逊等公司从“建设AI基础设施”转向“靠AI赚钱”，单纯比较GPU FLOPS已经不够，市场更需要关注推理效率和盈利能力。
二、真正限制GPU效率的可能不是算力，而是内存
文章认为，目前很多GPU并不是“算不动”，而是在等待内存和数据。
尤其是在长上下文、推理模型和AI Agent场景中，KV Cache会占用大量内存。KV Cache可以通俗理解为：
模型为了避免每次都从头计算，而暂时保存下来的“推理工作记忆”。
最理想的情况是把KV Cache全部放在速度最快的HBM中。但当KV Cache超过HBM容量后，系统只能：
* 把数据转移到速度较慢的DDR或存储设备；
* 或者重新计算之前的结果。
两种做法都会让昂贵的GPU等待，导致利用率下降、功耗浪费，“每瓦Token数”随之降低。
三、“内存墙”正在越来越严重
过去20年，计算能力提升速度明显快于内存：
* 加速器计算能力大约每两年提升3倍；
* 内存带宽大约每两年提升1.6倍；
* 内存容量大约每两年提升2倍。
文章以英伟达Rubin为例：
* Rubin推理算力预计是Blackwell的5倍；
* HBM带宽只提升约2.8倍；
* HBM容量只提升约1.5倍。
也就是说，GPU越来越强，但“喂给GPU的数据速度和容量”没有同步增长，理论算力与实际Token产出之间的差距可能继续扩大。
四、单纯购买更多GPU并不能解决问题
HBM与GPU封装在一起，云厂商如果想增加HBM容量，通常只能购买更多GPU。
问题在于：
* 增加GPU虽然增加了HBM容量；
* 但也同时增加了更多计算单元；
* 计算能力与内存的比例并没有真正改善；
* 最终可能出现更多昂贵GPU处于低利用率状态。
与此同时，HBM在加速器成本中的占比还在上升。文章估算：
* HBM约占B200物料成本的52%；
* 到Rubin时代可能升至62%。
这意味着云厂商花在内存上的资本越来越多，但内存容量和带宽仍然追不上算力增长。
五、英伟达的解决方向：Offload Engine
所谓Offload Engine，可以理解为专门负责“管理和搬运KV Cache”的辅助引擎。
它的作用不是代替GPU计算，而是：
* 把KV Cache从GPU HBM迁移到更便宜、更大容量的内存；
* 负责缓存调度和数据搬运；
* 尽量在GPU需要数据时及时送达；
* 减少GPU等待，提高GPU利用率。
英伟达过去已经通过SmartNIC和DPU卸载网络、存储与CPU任务，现在正把卸载思路延伸到GPU内存和KV Cache管理。
文章指出，未来可能形成两条技术路线：
路线 代表方向 特点
英伟达封闭体系 CMX等专有方案 与英伟达机架级系统深度整合，性能和控制力更强
开放体系 CXL内存扩展 可连接DDR等大容量内存，成本更低，厂商选择更多
这很可能成为英伟达下一阶段与开放计算生态竞争的重要战场。
六、电力短缺让GPU闲置变得越来越昂贵
文章认为，AI数据中心已经同时受到两方面挤压：
一方面，新电力接入速度远远追不上数据中心需求。文章引用的数据称，ERCOT正在跟踪超过438GW的大型负载并网申请，其中约390GW来自数据中心，而2024—2025年新增容量只有约23GW。
另一方面，单颗GPU功耗不断上升：
* H100约700W；
* Blackwell系列约1200—1400W；
* Rubin可能达到约2300W。
因此，未来即使有钱购买GPU，也未必能够获得足够电力。既然电力总量受限，让GPU等待内存就等于浪费最稀缺的资源。
七、传统节能手段已经接近极限
谷歌、Meta、微软和AWS的数据中心PUE已经下降到大约1.09—1.17。
PUE越接近1，说明用于散热、配电等非计算环节的电力越少。这意味着继续依靠优化制冷来大幅节电的空间已经不大。
下一阶段的重点只能从：
“减少非计算用电”
转向：
“让真正用于计算的每一瓦电产生更多Token”。
八、内存卸载还可以提高资本回报率
文章引用Marvell的数据称：
* 1TB服务器DDR5大约需要4万美元；
* 一颗B200约4万美元，但只有192GB HBM；
* 如果通过购买GPU获得1TB HBM，总成本可能超过20万美元。
虽然DDR或CXL内存无法完全取代HBM，延迟也更高，但它们可以承接不需要始终放在HBM中的KV Cache。
因此，更合理的方案可能是：
* HBM保存最紧急、最常用的数据；
* DDR/CXL扩展内存保存容量更大的KV Cache；
* Offload Engine负责在不同内存层级之间调度。
这比为了获得更多内存而不断购买GPU更经济。
九、英伟达给出的性能数据
根据文章引用的英伟达数据：
* Vera Rubin NVL72配合Groq 3 LPX，单位兆瓦Token吞吐量最高可达到GB200 NVL72的约35倍；
* 对万亿参数模型，英伟达宣称其收入创造能力最高可能达到Blackwell系统的10倍。
但需要注意，这些是英伟达提供的性能与收入模型，不是独立第三方测试结果，实际表现还会受到模型、延迟要求、并发量和Token价格影响。
对投资者真正有意义的结论
文章的投资主线不是简单地说“继续买GPU”，而是认为AI资本开支将向以下环节扩散：
1. KV Cache管理与推理优化；
2. CXL内存扩展和内存池化；
3. HBM、DDR及分层内存架构；
4. DPU、SmartNIC和数据卸载芯片；
5. 机架级高速互连与数据搬运；
6. 能够提高GPU利用率的软硬件系统。
英伟达的优势在于，它可以把GPU、网络、DPU、机架和内存管理打包成完整系统；潜在风险则是CXL开放生态如果能够以更低成本解决KV Cache问题，可能削弱英伟达对整个AI系统的控制力。
最后需要注意，I/O Fund及作者披露持有英伟达股票，文章整体立场明显偏多；而且“每瓦Token数”虽然重要，却不能单独代表盈利能力，还需要同时观察Token售价、模型质量、延迟、GPU采购成本和实际利用率。
