视频封面｜Sequoia Capital｜2026-06-30

导读

Dylan Patel 是 SemiAnalysis 的创始人，这家公司在五年前还显得冷门的半导体赛道上重仓下注，如今被传年营收已过亿美元。在这场与 Sequoia 的对谈里，他把 AI 基础设施拆成了一条完整的因果链：从 HBM、光刻、interconnect，一直延伸到模型架构和 token 经济。他反复强调一句话——最大的红利不在某一层，而在跨层协同

对工程师而言，这场对话的价值在于它澄清了一个流行误解：过去三年的效率提升，并非主要来自硬件迭代，而是模型、kernel、硅片三者的联合优化。对产品经理而言，更值得记住的是「吞吐-交互性曲线」如何决定一切下游形态——你的 Agent 该用哪种 inference 配置，实际是在这条曲线上选点读懂这条曲线，就读懂了基础设施到应用层的传导路径

100x 来自跨层协同，而非单层突破

很多人把 AI 效率拆成三层：硬件改进、kernel 级系统优化、模型级算法创新。Sean 在对谈中提出一个直觉判断——过去三年大部分收益来自硬件层。Dylan 直接反驳了这个说法。

他指出，从 Hopper 到 Blackwell，DeepSeek 在最优部署下大约带来 30 倍提升，这确实是硬件的贡献。但如果回看三年，模型层的进步远比硬件更激进。三年前是 GPT-4，现在一个总参数 27B、激活参数仅 2B 的小模型，质量已经全面超越当年的旗舰模型层的红利，比人们直觉中要大得多

真正让他兴奋的是介于两者之间的协同设计层。以 DeepSeek 为例，V3 里所有 expert 的 shape 都是为 Hopper 优化的；到了 V4，又被重新塑形去适配 Blackwell 和华为的芯片。

这种优化深入到 network IO 模式、collective 算法、attention 的算术强度，模型与硬件在底层被一同打磨，几乎无法拆开归因 一个有意思的反例是：TPU 客观上是极好的芯片，跑 DeepSeek 却很吃力，但跑另一类在 NVIDIA 上表现一般的模型却很强。

这就是 Dylan 给出的乘法逻辑：三层各自能拿到 2 倍，简单相乘是 8 倍；但当你跨层协同设计，2 倍 × 2 倍 × 2 倍会变成 100 倍单层的局部最优，永远抵不过跨层的全局最优 顶级 lab 的真正壁垒，就藏在这种难以复制的联合调优里。

InferenceX 让 benchmark 变成活的

Dylan 认为，inference 将成为地球上最大的市场之一，规模会远超石油，占 GDP 若干个百分点。但要做决策，就离不开可靠的 benchmark，而传统 benchmark 几乎一开始就过时了。

原因在于更新节奏。模型每周都在迭代——中国厂商、Fable、Mythos 轮番登场；软件层 PyTorch、vLLM、SGLang 的更新周期短到每两周一次。每一次更新都会改变性能表现点状 benchmark 发布即过时，行业需要的是持续运行的活体基准

于是 SemiAnalysis 启动了 InferenceX，拉来 CoreWeave、Crusoe、Nebius、Oracle、微软、亚马逊、Google、OpenAI 捐献算力，又联合 SGLang、vLLM 及其背后的商业团队 Radix Arc、Infercept 协作，硬件侧覆盖 NVIDIA、AMD，并即将加入 TPU 和 Trainium。

他们拿到了价值超过 5000 万美元、加入 TPU/Trainium 后将破亿美元的硬件，每天自动跑 15 种芯片类型 × 多个最新模型的全量 sweep。所有配置与结果全部公开，任何人都能下载最优点的容器直接复现

Dylan 把这条曲线称为最重要的曲线——吞吐对交互性。低延迟场景用 speculative decoding、多 token 预测，batch size 拉低，不在乎成本；

批处理文档的场景则反过来，把用户密集打包，宁可慢一夜今天 AI infra 还在一刀切，未来必然按曲线分点服务 Anthropic 的 Claude Code fast mode、OpenAI 的 priority 队列，都是这条曲线商业化的早期信号。同一个硬件，跑 1000 token/s 和跑 250 token/s，价格能差 4 倍——成本和时间，总有一方要为另一方买单。

稀疏与稠密、interconnect 决定模型形态

NVIDIA 和 TPU 谁更强？Dylan 的回答是：这取决于模型往哪个方向走 矩阵乘单元的尺寸不同，attention 机制结构不同，expert 的排布不同，这些都让两类芯片各有主场。

他透露一个判断：OpenAI 的模型更稀疏，Anthropic 的模型虽然也稀疏但整体更稠密，二者在架构上并未趋同，反而在分化。稀疏和稠密各有收益，没有绝对优劣模型架构的选择，本身就是在为某种硬件投票

interconnect 的拓扑进一步放大了这种分化。NVIDIA 的芯片全部挂在 NVLink switch 上，但一个 NVLink 域只能连 72 个 GPU；Google 的 ICI 没有 switch，却能以高带宽连 8000 个芯片，代价是数据要穿过中间节点。两种拓扑各有取舍，它们会反向塑造模型架构——你很难脱离模型层去孤立评判某块芯片

正因如此，Dylan 认为 OpenAI 的模型路线如果改用 TPU 训练，可能是糟糕决策；而 Anthropic 和 Google 的路线若改用 GPU，同样可能出错。

Anthropic 用 TPU 预训练、用 Trainium 和 GPU 做 inference，每一条硬件都对应一套协同优化。把模型从适配的硬件上抽走，表现往往立刻塌陷。

CUDA 护城河正在位移

长期以来，CUDA 的可编程性被视为 NVIDIA 最深的护城河。但过去三到六个月，这个叙事开始松动。模型公司不再执着于 CUDA 兼容——模型本身已经擅长写 kernel，Codex 和 Claude Code 能完成大量优化工作当软件被 AI 自动化，可编程性的壁垒自然消解

Dylan 给出的更准确判断是：所谓 CUDA 护城河，其实和 CUDA 本身关系不大。真正的原因是 DeepSeek、Kim、阿里、腾讯、小米这些厂商把模型为 GPU 协同设计，导致它们在 TPU 上跑得不好。

下游的 inference API 提供商、做 RL 定制的公司，顺理成章地选择 NVIDIA——原因在于生态默认跑在 NVIDIA 上。护城河从「工具链」位移到了「模型 shape 默认适配」

不过这条位移只对大 lab 友好。OpenAI 早就 fork 了 PyTorch，Anthropic 等也不再依赖开源实现，他们能针对自选硬件从模型到 infra 软件全栈协同设计。小团队则仍需依赖 vLLM、SGLang、PyTorch 这套开源栈CUDA 壁垒松动，赢家是少数有能力全栈协同的大 lab，而不是所有玩家

算力紧张、token 经济与租金分化

Dylan 对算力供给的判断非常直白：今年建成约 20GW，明年超过 30GW，但需求增长更快。他预测到 2030 年，仅 OpenAI 和 Anthropic 合计就将拥有超 100GW 的算力，2040 年进入太瓦级。

更关键的是需求侧的逻辑。从 Opus 4.5 到 Fable/Mythos，模型能完成的有价值任务量级是数倍跃迁，而同期全球算力并没有翻倍模型扩 TAM 的速度，跑赢了算力增长的速度，价格因此被推高 Anthropic 在 Q2 已实现净利（不含股权激励），Q3 可能含股权激励后也转正，单个 Opus token 的 API 毛利超过 80%。

这种毛利结构带来一个反直觉结论：当每个 GPU 都能立刻以正毛利卖出 token，lab 愿意以高于市场价抢算力。哪怕算力成本翻倍，75% 毛利也只是掉到 50%，NOI 仍在上升只要模型持续进步，算力的紧张就没有缓解理由 一旦模型进步停滞，这条杠杆才会反转——而 Dylan 接触到的 lab 普遍认为，进步远未到顶，甚至因为模型辅助写 infra 而加速。

租金已经在分化。Trainium 给 Anthropic/OpenAI 的租赁价低于每 GW 10 亿美元，GPU 过去约 12–13 亿，SpaceX 给 Google 的价格则高达 25 亿每 GW。

数据中心 collocation 价格从每千瓦 60 美元/月涨到 120–200 美元，客户信用差、电网不稳的站点还要打折同样是 1GW，给谁、由谁建、能不能 power smoothing，价值天差地别 Google 会在 1GW 数据中心塞 1.5GW 硬件，靠负载调度把电力「晃」起来，并在三天超负荷时段用电池和燃气兜底——这是普通运营商做不到的。

NeoCloud 与 Jensen 的多极世界

五年前人们以为超大规模云商会通吃 AI 算力。但 NeoCloud 反而崛起，Dylan 用一篇 2023 年的报告解释了原因。

他指出，亚马逊曾是最好的云，靠 Nitro 网卡做租户隔离、自研 SSD 和 Graviton CPU 降本。

但这套为传统 CPU 云设计的优势，在 AI 云里反而成了负担——Nitro 牺牲性能，多租户安全机制在「整柜出租、长约锁定」的 GPU 市场里几乎用不上超大规模云商积累的能力，相当一部分在 AI 场景里失灵甚至有害 微软自建数据中心团队在需求翻倍时掉链子，只能去抢 NeoCloud 产能。

NeoCloud 的优势在执行和时间。CoreWeave 的性能和可靠性经过测试优于超大规模云商，Crusoe 等团队因股权高度对赌而拼命抢速度——超大规模组织里没人靠「建得更快」致富。CoreWeave 还能用 Google 的长期合约作信用背书去拿债，再付已下达的订单款；

SpaceX 则更狠，直接「现在就在跑，买不买」有没有资产负债表，决定了 revenue per megawatt 的上限

Jensen Huang 在这其中扮演的角色，被 Dylan 描述为「多极世界的制造者」。他大量投资各类 AI lab、力挺中国厂商，是因为一个只有 OpenAI/Anthropic/Google 模型的世界，会让他被超大规模云商的 TPU/Trainium 边缘化。

NeoCloud 存在的意义，就是稀释超大规模云商的议价权对 NVIDIA 而言，今天卖给 Crusoe 和卖给 Google 价格相同，但五年后 Crusoe 的存活会削弱 TPU 和 Trainium 很多 NeoCloud 会死，但活下来的会重塑格局。

十年押注与终局分化

拉到十年尺度，Dylan 最兴奋的是太空数据中心。他承认未来三到五年太空算力不会真正起量，但二十年维度上，增量算力的大多数会进入轨道——限制因素是陆地建电的成本与上限。到 2030 年太空算力占比仍不足 1%，2040 年则可能过半。

在半导体侧，他更关注几个具体瓶颈。HBM 容量和带宽提升缓慢，DRAM cell 40 年没本质突破，但未来几年内存直接堆叠在芯片上会让带宽爆发；硅片功率密度卡在每平方毫米 1 瓦已二十年，如今终于有人尝试突破，这意味着更少硅片、更高功率能解决功率密度和内存带宽的人，会拿到下一轮红利

终局上，Dylan 认为硬件与模型架构会持续分化。今天大家的芯片长得都一样——中间一块大逻辑 die，四周是 HBM、网络和 PCIe。未来会出现更多分叉，各家会为不同模型路线协同设计 ASIC。

但他同时指出一个风险：专用芯片可能陷入局部最优 当模型架构出现新突破（比如 attention 被替换），专用设计可能瞬间变错。Google 实际上同时跑着三个不同架构的 TPU 设计项目，就是为了对冲这种不确定性。

因此他判断：每个人都会建自己的 ASIC，投入数十亿乃至数百亿，但通用 AI 算力市场永远存在。

因为连 lab 自己都不确定一年后用什么架构专用与通用会长期并存，市场大到足以让各种 niche 都赚钱 Tenstorrent 的 Devedean 试图同时在硅片层、软件抽象层和模型层做长线押注（可能包含模拟计算与能量模型），Dylan 评价「大概率不会很快成功，但这才是真正令人兴奋的赌注」。

给工程师和产品经理的判断

别再把效率红利归因于单层 过去三年模型层的进步远超硬件，而真正的 100x 来自模型、kernel、硅片的协同设计。评估任何 inference 方案时，要问它是否做到了跨层联合调优，而不是只看某一层指标把吞吐-交互性曲线当作选型坐标系 你的 Agent 是低延迟交互，还是批处理？

这决定了 batch size、是否用 speculative decoding、是否为 fast token 付溢价。

曲线上的选点，就是成本与时间的取舍，没有一刀切的最优解对 benchmark 保持警惕 模型与软件两周一更，点状 benchmark 发布即过时。

优先参考持续运行的活体基准（如 InferenceX 的公开最优曲线），并自己复现最优点，避免拿别人的次优曲线和自己的最优曲线对比理解 CUDA 护城河的位移 它已从「工具链壁垒」变成「模型 shape 默认适配 NVIDIA」。这意味着大 lab 能摆脱束缚做全栈协同设计，小团队则仍被生态默认值绑定。

选型时要诚实评估自己属于哪一类算力紧张的拐点看模型进步，而非供给 只要模型扩 TAM 的速度跑赢算力增长，租金就会继续上行、lab 会继续以高毛利抢卡。

一旦模型进步停滞，整条杠杆才会反转——这是判断基础设施周期最关键的单一信号同一度电的价值高度分化 1GW 给谁、由谁建、能否做负载与电力调度，决定了它值 10 亿还是 25 亿租金。评估数据中心或云商时，别只看规模，要看 power smoothing、资产负债表和执行速度这三件事。

视频来源：Why Hardware-Software Co-Design Is AI」s Real 100x: Dylan Patel of SemiAnalysis

链接：打开链接