引子
一、三个关键单位:GW、FLOPs、Token
GW:物理世界的硬约束
FLOPs:算力世界的硬尺子

·每柜72个B200 GPU + 36个Grace CPU
·总功率120 kW
·FP4峰值算力1,440 PFLOPs
·FP8峰值算力720 PFLOPs
·FP16峰值算力360 PFLOPs
·HBM3e内存13.5 TB
·整柜价格约300万美元
从FLOPs到PFLOPs:单位换算
缩写 | 全称 | 等于多少FLOPs |
KFLOPs | 千次 | 10³ |
MFLOPs | 百万次 | 10⁶ |
GFLOPs | 十亿次 | 10⁹ |
TFLOPs | 万亿次 | 10¹² |
PFLOPs | 千万亿次 | 10¹⁵ |
EFLOPs | 百亿亿次 | 10¹⁸ |
ZFLOPs | 十万亿亿次 | 10²¹ |
为什么精度越高,算力越小?
Token(词元):大模型世界信息的最小单位

·Input:$5 / 1M tokens
·Output:$25 / 1M tokens

·Input:$5 / 1M tokens
·Output:$30 / 1M tokens
Output Speed

二、推理的Token经济学:以Anthropic为例
2.1 从GW到美元:完整推导
抽象计算公式
Step 1:从总电力到机柜数

Step 2:从机柜到总算力


Step 3:从算力到Token吞吐(关键的两套上限)
3a. 算力上限(compute bound)—”GPU算得多快”

3b. 内存带宽上限(memory bound)——"数据搬得多快”


Step 4:从单柜到数据中心总吞吐

Step 5:从总吞吐到经济价值

计算实例
参数 | 数值 | 来源 |
Colossus 2 总电力 | 2 GW | xAI官方公告,Mississippi站点 |
Colossus 2 总投资 | $18 B | xAI官方披露(实际混合GPU配置,非全GB200) |
PUE | 1.2 | 行业先进数据中心典型值(OCP数据) |
NVIDIA GB200 NVL72 单柜功率 | 120 kW | NVIDIA官方规格 |
GB200 NVL72 FP8峰值算力 | 720 PFLOPS dense per rack | NVIDIA官方规格 |
GB200 NVL72 单GPU HBM带宽 | 8 TB/s | NVIDIA官方规格 |
GB200 NVL72 总HBM容量 | 13.5 TB(192 GB × 72 GPU) | NVIDIA官方规格 |
MFU (inference) | 40% | 业内典型30-50%,取中值 |
Opus 4.7 active参数估计 | ~250 B | 行业估计(Anthropic未公开) |
Opus 4.7 total参数估计 | ~750 B | 行业估计 |
Opus 4.7 单用户输出速度 | 48 t/s | Artificial Analysis实测,max effort reasoning,2026年4月 |
Opus 4.7 Input定价 | $5 / 1M tokens | Anthropic官方 |
Opus 4.7 Output定价 | $25 / 1M tokens | Anthropic官方 |
Opus 4.7 Cached Input定价 | $0.50 / 1M tokens | Anthropic官方 |
Batch size (large reasoning model) | 150 | 行业经验值,受KV cache限制 |
Utilization 利用率 | 70% | 实际部署经验值(含维护、batch调度损耗) |
Step 1:机柜数

💡 | 含义:Colossus 2如果100%用GB200 NVL72部署,能装下13,889个机柜,约100万张B200 GPU。 check:xAI官方公开数据显示Colossus 2部署555,000张GPU(按xAI实际混合配置,含H100/H200/GB200)。我们这里假设"全部用GB200 NVL72",所以GPU数量翻倍是合理的(GB200单卡密度更高,单柜72颗)。 |
Step 2:总算力


💡 | 含义:Colossus 2总FP8峰值算力是10×10²¹次/秒,推理MFU假设为40%,实际可用约4×10²¹次/秒。 |
Step 3:Token吞吐
3a. Compute bound(单柜):
3b. Memory bound(单柜,单用户):
↑ 假设模型权重文件size 750GB(750B参数规模)。 ↑72个GPU分工,每个只读自己的那份. 单token读取时间 = 10.4 GB ÷ 8 TB/s = 1.3 ms ↑每个GPU的HBM带宽是8TB/s ↑读10.4GB需要1.3毫秒 单用户memory理论上限 = 1秒 ÷ 1.3ms = 769 tokens/秒 ↑一秒钟最多"翻"769遍书 = 最多生成769个token |
理论值 vs 实测值的差异解释
1.KV cache读取开销:公式3b只算了"读模型权重"的时间。但实际decode时,每个token还需要读取所有历史token的KV cache——这在长context场景下可能消耗与模型权重读取相当甚至更多的HBM带宽
2.MoE架构的routing开销:Opus 4.7估计是MoE架构(750B total / 250B active),expert routing导致内存访问不规律,实际bandwidth utilization低于理论值
3.serving工程开销:安全检查、负载均衡、日志、API格式化等
3c. Batching后的单柜总吞吐

💡 | 为什么取batch=150? Reasoning模型的KV cache占用大(长context+thinking tokens累积),单柜HBM 13.5TB扣除模型本身750GB后,剩余约12TB分配给所有并发用户的KV cache,每用户消耗几十GB是较为常见的——典型batch size在100-200之间,取中值150。 check:7,200 t/s vs Compute上限576,000 t/s = 利用率1.25%。 这个数字的含义:GPU拥有每秒处理576,000个token的计算能力,但实际只处理了7,200个——98.75%的算力都在等HBM把数据搬过来。 |
第1步: 计算核心向HBM发请求: "把模型权重给我" 第2步: HBM把750GB模型权重通过内部总线搬给计算核心(在tensor parallel下,每个GPU只搬自己那份 = 10.4GB) 第3步: 计算核心拿到数据,做矩阵运算,算出下一个token 第4步: 输出token 第5步: 生成下一个token? → 回到第1步,重新搬一遍

·NVIDIA每代GPU重点升级HBM(H100 80GB → B200 192GB → Rubin Ultra 1TB)
·"买更多GPU算力"解决不了推理速度问题——要买更多HBM带宽
Step 4:数据中心总吞吐

·每秒 1亿 tokens
·每分钟 60亿 tokens
·每小时 3,600亿 tokens
·每天 8.64万亿 tokens
Step 5:经济价值
场景 | 典型Input | 典型Output | 比例(in:out) | 占API用量大致 |
C端Chat | 100-500 tokens | 500-2000 tokens | 1:3 到 1:5 | 大 |
AI Coding | 5,000-50,000 (整个相关代码库) | 1,000-5,000 (修改+解释) | 5:1 到 10:1 | 极大且高速增长 |
长文档分析 | 50,000-200,000 (大文档) | 500-3,000 (回答) | 30:1 到 100:1 | 中 |
Reasoning/Agentic任务 | 100-1000 tokens (问题) | 5,000-50,000 (含thinking tokens) | 1:30 到 1:50 | 快速增长 |
API批量调用 | 各异 | 各异 | 各异 | 中 |
类型 | 占比 | 单价 | 加权 |
Cached input | 50% | $0.50/M | $0.25 |
Standard input | 25% | $5/M | $1.25 |
Output | 25% | $25/M | $6.25 |
加权混合价 | $7.75/M |


💡 | 假设数据中心全年利用率为70%,剩余时间处于维护、调度空档、批处理排队等待等状态。 |
交叉验证:与Anthropic实际数据对比
=$30 B ÷ $7.75/M =3.87 × 10⁹ M tokens/年
=3.87 × 10¹⁵ tokens/年
=2.2 × 10¹⁵ tokens/年 (3600*24*365*0.7*10^8)
Anthropic token处理量 ÷ 我们的2 GW产出:
=3.87 ÷ 2.2 ≈ 1.76
→ Anthropic的实际算力规模约等于 1.76 × 2 GW ≈ 3.5 GW
2.2 成本结构拆解
项目
数值
来源
GB200 NVL72 单柜采购价(含集成)
$3.5 M
行业市场报价(HPE/Supermicro/Dell),含网络和冷却集成
GPU硬件折旧年限
4年线性
Anthropic、OpenAI、Microsoft财报披露的GPU折旧策略
数据中心建设成本
$12 M / MW
Stargate Abilene等近期项目数据,含土地、电力配套、冷却、建筑
数据中心建筑折旧年限
15年
行业会计标准(IFRS/GAAP)
网络/存储设备占硬件比
10%
InfiniBand + NVMe storage的相对成本
网络/存储折旧年限
5年
行业标准
Mississippi工业电价(Colossus 2地区)
$0.055 / kWh
TVA区域工业平均电价(2025-2026)
数据中心运维人员配置
1人 / 2-3 MW
数据中心行业标准
运维人员平均年薪
$120 K
BLS数据中心技术人员中位数
软件license + 安全合规
~1.5% of capex/年
行业经验值
part 1:硬件投资总额
💡
Check:xAI公开的Colossus 2实际投资是$18B,差距来自xAI实际是H100/H200/GB200混合配置(老一代GPU单价低得多)。 巴克莱银行估算1GW的投资成本约$50B~$60B, 量级上大致接近我们的估算。【来源:《Nvidia's 'Jensen Math' Of $50 Billion Revenue Per GW Gets A Reality Check: Here's What Barclays Analysts Project For NVDA》】
年成本拆解
年成本汇总表
项目
年成本
计算
占比
GPU硬件折旧
$12.2 B
$48.6 B ÷ 4 年
72%
数据中心建筑折旧
$1.6 B
$24 B ÷ 15 年
9%
网络/存储折旧
$1.0 B
$4.9 B ÷ 5 年
6%
电费
$0.96 B
2 GW × 8,760 h × $0.055/kWh
5.5%
软件/合规/保险
$1.16 B
$77.5 B × 1.5%
6.5%
运维人员
$0.10 B
$120 K * (2,000 MW ÷ 2.5 MW/人)
0.5%
总年成本
约 $17.0 B
100%
·GPU折旧占72%——真正贵的是硬件,不是电
·电费占总成本仅5.5%
·运维人员占0.5%——人均管理2.5 MW的极致自动化
2.3 数据工厂毛利率:先算笨账
先算笨账
年收入= $17.1 B
年成本= $17.0 B
─────────────────
毛利≈ $0.1 B
毛利率 ≈ 0.6%
2.4 循环交易:AI Labs和Hyperscalers的利益绑定
从AI Lab侧看:所有营收都变成了租金
时期
AWS支出
对应同期营收
云支出/营收
2024年全年
$1.35 B
~$0.5 B
270%
2025年1-9月
$2.66 B
~$2.55 B
104%
合作方
金额
期限
来源
AWS
$100 B
10年
Anthropic 2026年4月20日官方公告
Google Cloud
$200 B
5年
Reuters 2026年5月5日(via The Information)
Microsoft Azure
$30 B credits
-
Anthropic 2025年11月官方公告
合计
$330 B
年份
预计收入
预计亏损
备注
2024
$0.5 B
-$5.6 B
实际已发生
2026
$18 B
-$11 B
2027
$55 B
-$11 B
2028
$102 B
+$2 B
首次盈利
2029
$148 B
未披露
从Hyperscaler侧看:投资的钱又回到了自己口袋
Amazon声称的AI revenue= $15 B/年其中Anthropic贡献= ~$12 B/年 (80%!)Amazon对Anthropic的累计投资 = $8 B (已投) + $5 B (新增) + 最高$20B (未来)────────────────────────────────Amazon投给Anthropic的钱 ≈ Anthropic付给AWS的钱
Google对Anthropic投资= 最高$43 BAnthropic对Google Cloud承诺 = $200 B / 5年Anthropic贡献了Google Cloud revenue backlog的 40%+[来源: Reuters 2026.5.5]
·AWS:对Anthropic AI sales收最高50% of gross profits[来源:The Information via DCD]
·Google Cloud:收20-30% of net revenue[来源:DCD]
循环交易为什么必然发生
从AI Lab端:不租云就活不下去
·训练成本$1-5 B/代际——AI Lab的现金流完全不可能自建数据中心
·融资结构 = Hyperscaler既是投资者又是算力供应商——天然绑定(你拿了Amazon $8 B的钱,当然要在AWS上买算力)
·竞争压力要求快速scaling——自建DC需要2-3年,等建好黄花菜都凉了
·云厂商本身就是最好的B端客户渠道,而已经证明B端客户相比C端客户,对于AI Lab有更高的商业价值。
·结论:AI Lab没有"不租云"的选项
从Hyperscaler端:不补贴就没有"AI增长故事"
·传统云业务增长放缓(企业上云已经接近饱和)——需要AI作为新增长引擎
·如果不投资AI Lab——竞争对手会投(Amazon不投Anthropic,Google就独占了)
·AI revenue(即使大部分是循环交易)能让季报的"AI增长"数字好看——华尔街要看到这个数字
·结论:Hyperscaler没有"不补贴"的选项
历史的参照:"先亏后赚"并非AI独有

历史先例数据汇总
产业
投资高峰期
累计投资
亏损期
盈利拐点
最终结局
来源
电信光纤
1996-2001
>$500B (+$800B M&A)
5年泡沫+10年回填
~2010
$2T+股权蒸发,但基础设施成为互联网骨干
Fabricated Knowledge; MOI Global; Sparkline Capital
AWS云计算
2006-2015
数百亿(逐步扩大)
9年
2015首次披露盈利
$107.6B revenue (2024),Amazon最大利润来源
CIO Dive; Amazon财报
Tesla/EV
2003-2020
~$6B累计亏损
17年
2020首次全年GAAP盈利
$96B revenue, $7B profit (2024)
Tesla财报
AI
2022-?
$1T+ (仅2025年)
?年
Anthropic预测2028
未知
本文分析
AI产业的相似与不同
·都是"基础设施型投资"——先建好能力,再等需求追上来
·都经历"前期巨亏→规模摊薄边际成本→盈利拐点"的曲线
·都有"市场反复质疑能否活到盈利"的信心考验
·速度更快:AI从ChatGPT发布(2022年11月)到年投资峰值(2026年),仅4年——电信泡沫花了5-6年,AWS花了10年[来源:Long Yield Research]
·集中度更高:不到10家公司承担了几乎所有投资——电信泡沫时有上百家公司分散风险
·投资规模更大:AI产业仅2025年capex就超过$400 B,Hyperscaler 5年承诺$2 T——远超电信泡沫的$500 B+[来源:Sparkline Capital]
·验证周期更短:Anthropic预测2028年盈利(从大规模投入到盈利约6年),如果实现,将比AWS(9年)和Tesla(17年)都快
历史告诉我们什么
·电信光纤:基础设施成功了,但投资者亏惨了——说明"产业成功 ≠ 投资成功"
·AWS云计算:渐进投资 + 真实需求驱动 → 投资者和产业双赢
·Tesla/EV:激进投资 + 17年亏损 → 最终活下来的赢家通吃
小结
三、训练的Token经济学
·OpenAI 2026年projecting亏损140亿美元(比2025年的80亿还要扩大)[来源:OpenAI 2026 Q1融资材料]
·Anthropic projecting要到2028年才能FCF转正[来源:Anthropic 2026融资材料]
3.1 训练算力的代际演进:数据真相
模型
发布时间
训练算力(FLOPs)
相对GPT-4倍数
来源
GPT-3
2020.6
3.1×10²³
0.016x
Epoch AI
GPT-4
2023.3
2×10²⁵
1x(基准)
Epoch AI;与McGuinness leak 2.15×10²⁵一致
GPT-4o
2024.5
~3×10²⁵
1.5x
Epoch AI推算
GPT-4.5
2025.2
>10²⁶
>5x
Epoch AI
GPT-5
2025.8
~5×10²⁵
2.5x
Epoch AI 2025年10月分析
两种训练范式:定义与核心差异

Pre-training(预训练):
Post-training(后训练):
·RLHF(人类反馈强化学习):让人类标注员对模型回答打分,模型据此调整
·RL with verifiable rewards:让模型做数学题、写代码,自动判断对错,反馈到模型
·Self-play / chain-of-thought RL:让模型自己生成reasoning过程,评估好坏,强化好的路径
为什么训练范式迁移会让训练算力需求下降?

3.2 一次训练有多贵:基于GPT-5实际数据
训练所需时间
单机柜FP8 sustained算力 = 720 PFLOPs × 50% MFU
=360 PFLOPs
=3.6 × 10¹⁷ FLOPs/秒
集群sustained算力 = 5,000 × 3.6 × 10¹⁷ × 70%(分布式效率损失)
=1.26 × 10²¹ FLOPs/秒
训练时间 = 5 × 10²⁵ ÷ 1.26 × 10²¹
≈3.97 × 10⁴ 秒
≈46 天
单次训练成本
项目
金额
计算
电费
$48 M
0.6 GW × 24h × 46天 × 1.2 PUE × $0.055/kWh
GPU时间机会成本
$770 M
5,000机柜占用46天 × 单柜日成本$3.3K(=$17B/13,889柜/365日)
网络/存储/运维
$100 M
训练专用基础设施折旧+运维
数据准备 + ablation
$300-500 M
多次失败实验、参数搜索、数据清洗标注
单次完整训练总成本
约 $1.2-1.4 B
·Sam Altman曾公开提到训练GPT-5的compute成本"超过$500M"[来源:2024年9月访谈]
·Dario Amodei提到下一代前沿模型训练成本"约$1B"[来源:2024年Q4 Anthropic投资人会议]
·2024年OpenAI训练相关支出:$3B "compute to train models" + $1B "research compute amortization" = $4B
·2026年projected:约$8B
·2030年projected:高达$125B[来源:OpenAI 2026 Q1融资材料]
3.3 完整的"每GW年成本"
项目
年成本(2 GW Colossus 2规模)
占比
备注
推理直接成本
$17 B
68%
第二章结论(GPU折旧+设施+电费+运维)
训练算力(年度摊销)
$4-6 B
19%
第三章结论
数据采集 + 标注
$500 M-1 B
4%
高质量数据、人工标注
研究员 + 工程师工资
$2-3 B
8%
2000-3000人 × $700K-1M平均
销售、市场、运营
$500 M-1 B
2%
B端主导业务
完整年成本(满载稳态)
约 $25 B
3.4 训练范式迁移的连锁反应
Pre-training scaling触顶 (GPT-4.5实证)↓转向 RL Post-training scaling (训练算力效率提升)↓ (训练阶段)训练出会"thinking"的Reasoning Model↓ (推理阶段)Serving时产生大量Thinking Tokens↓推理token经济结构性扩大↓对硬件、估值、商业模式产生连锁影响
A. Scaling law没死,只是换战场
维度
Pre-training范式 (2017-2024)
RL Post-training范式 (2024-)
算力主要消耗位置
训练集群(封闭环境)
训练集群 + 推理集群(混合负载)
算力规模特征
大集群、bursty负载
中小集群、持续负载
能力提升路径
扩参数、扩数据、扩算力
优化reward model、self-play、test-time scaling
模型迭代频率
12-18个月一代
持续RL更新(3-6个月一次)
B. Reasoning Model让推理收入结构性扩大
·Claude Opus 4.7的extended thinking
·OpenAI o系列、GPT-5的reasoning mode
非Reasoning模型 (传统):- 用户看到回答: 200 tokens (直接答案)- 模型实际生成: 200 tokens- 用户付费: 200 × $25/M = $0.005- 推理算力消耗: 1xReasoning模型 (Opus 4.7 max effort):- 用户看到回答: 200 tokens (最终答案)- 模型实际生成: 3,000 thinking + 200 final = 3,200 tokens- 用户付费: 3,200 × $25/M = $0.080(Anthropic把thinking tokens按output tokens计费)- 推理算力消耗: ~16x
·收入侧:单次query产生的token量 ×10-20
·成本侧:算力消耗也 ×10-20(同比例)
·单token边际经济保持稳定,总市场规模放大:原来$30B ARR量级的市场,可能扩大到$300B量级
·用户感知价值反而更高。AI"在认真思考"让用户觉得回答更值钱,付费意愿更强
关于会计口径的再说明
·前者算的是"毛利率"
·后者算的是"营业利润率"或更接近"营业现金流率"
总结:
全文算下来,如果你感到隐隐不安——这是正常的。
一个推理毛利率70%的公司,含训练和研发后全成本毛利率是-46%。一个"AI revolution"的核心叙事背后,是云厂商把自己的资产负债表推到极限来维持这个循环。这些数字放在一起,不好看。
但在你做出任何判断之前,有三件事值得放进同一张账单里。
第一,收入结构正在往有利的方向迁移。
Reasoning Model的普及,Thinking Mode正在改写token经济学的分母。Agentic任务的爆发更是把这个倍数再往上推,即使用户数量不增加,收入规模也在结构性扩大——这条曲线完全独立于"模型能不能更聪明"。
第二,训练成本的增速正在放缓,而训练出来的模型能力却在提升。
GPT-5的训练算力比GPT-4.5少——这不是没钱投了,而是训练范式从"堆预训练算力"转向了"RL后训练精准优化"。成本曲线正在弯折,而收入曲线仍在陡峭上升。
第三,Hyperscaler的强劲现金流提供了罕见的"容错空间"
AWS、Google Cloud、Azure三家2026年合计营收预计超过$5000亿,合计现金储备超过$3000亿。即使每年投入$600亿补贴AI Lab,对他们而言是现金流是充足的,即使是激进的押注,但远未到生死存亡的边界。更关键的是,他们不是在做慈善,而是有Revenue Share。这不是单向输血,而是一台设计精密的资本循环机器。
就像1999年的亚马逊、2012年的特斯拉——账面上一塌糊涂,但方向对的人最终赢了。那批光纤今天仍埋在海底,承载着全球所有的互联网流量。基础设施成功了,只是时间表和那批投资者都错了。
真正的问题是:这些正向信号的速度,能不能跑赢"烧钱"的速度?这套"Hyperscaler输血 + AI Lab亏损扩张"的模式,能撑到盈利那天吗?什么情况下会断?
下一篇,我们来讨论这个问题。
夜雨聆风