夜雨聆风对话者
Dylan Patel ：SemiAnalysis创始人、CEO兼首席分析师
Shaun Maguire ：红杉资本合伙人
Sonya Huang ：红杉资本合伙人
概要
SemiAnalysis创始人Dylan Patel在与红杉资本的深度对话中，提出了一个颠覆行业共识的核心观点：AI性能的最大跃迁并非来自更快的芯片，而是来自硬件-软件协同设计。当模型架构、内核优化与芯片设计三者被共同优化时，2倍、2倍、2倍的单项改进不再是乘法关系的8倍，而是协同放大为100倍。
Patel的成长路径本身即是这一逻辑的映射。从12岁起在互联网论坛上追踪半导体动态、在家庭旅馆和加油站环境中培养商业直觉、经历量化交易生涯后于2020年创立SemiAnalysis——这段非线性的轨迹塑造了他同时穿透技术与经济两个层面的独特能力。如今SemiAnalysis拥有90人团队，预计年营收突破1亿美元，其研究报告被黄仁勋在GTC大会上公开引用，客户覆盖全球顶级科技公司与投资机构。
Patel系统阐述了InferenceX这一革命性推理基准测试框架的运作逻辑：在超过5000万美元捐赠硬件的支持下，InferenceX每日自动化运行最新模型在所有主流芯片上的推理测试，覆盖整个帕累托最优曲线。其追踪数据显示，同等质量水平的推理成本在过去一年中下降了约60倍，智能每瓦特提升了约40倍。他认为推理市场最终将超过石油市场，成为全球最大的市场之一。
在模型架构层面，Patel揭示了OpenAI更稀疏的模型与Anthropic更稠密的模型如何将两者推向不同的硬件选择——并非因为CUDA本身是护城河，而是因为整个开源生态系统的模型形状天然为NVIDIA GPU优化。这一格局正在被AI辅助编程和硬件-软件协同设计本身所改变。
Patel还深入分析了NeoCloud生态系统的兴起逻辑、Jensen Huang刻意打造“多极世界”的战略考量、以及从CoWoS封装到电力再到EUV光刻机的算力瓶颈迁移轨迹。他指出，尽管当前供应链全线承压，但模型能力扩展的速度仍快于算力增长，因此算力紧缺状况将持续存在。
主题分析
一、硬件-软件协同设计：从8倍到100倍的杠杆逻辑
Patel提出了一个关于AI性能改进的核心框架：行业通常将改进分解为硬件层、系统软件层和模型算法层三个独立维度。传统思维认为这些改进是乘法关系——硬件2倍、系统软件2倍、模型算法2倍，合计约8倍。但Patel明确指出，真正的突破发生在三个层次被共同优化之时：此时2×2×2不再是8倍，而是100倍。
这一论断的直接证据来自DeepSeek模型在NVIDIA Hopper架构上的优化实践。DeepSeek V3的所有专家模块（experts）的形状都被精确设计为匹配Hopper的矩阵乘法单元尺寸和内存层次结构。DeepSeek开源的FlashMLA内核是针对Hopper GPU优化的高效MLA解码内核，通过TMA、WGMMA指令等Hopper架构新特性实现深度优化。这不是简单的“调参”，而是从模型预训练阶段就开始为特定硬件“塑形”——专家的大小、隐藏维度、注意力机制的结构都与硬件的计算和内存特征耦合。
Patel进一步指出，这种协同设计的逻辑贯穿整个产业链。TSMC不仅仅是做晶圆制造，而是从耗材和工具一路向上游协同优化到客户芯片设计。NVIDIA则从模型层（通过其投资的AI实验室获得反馈）一路向下游优化到硅片。当模型架构、系统软件与芯片设计三者被协同设计时，单项改进的叠加效应会被非线性放大。
这一框架解释了为什么同样优秀的硬件在不同模型上表现迥异。Google TPU在运行DeepSeek模型时表现不佳，但在运行Gemini等为TPU原生设计的模型时极为高效。这不是TPU本身的问题，而是DeepSeek的“形状”从未为TPU优化过。
二、InferenceX：推理经济学的帕累托最优曲线
InferenceX是SemiAnalysis最具影响力的公开项目之一。它是一个开源、持续更新的推理性能基准测试框架，在超过5000万美元的捐赠硬件上每日自动化运行。参与捐赠硬件的机构包括CoreWeave、Crusoe、Nebius、Oracle、Microsoft、Amazon、Google和OpenAI等。在软件层面，InferenceX与SGLang、vLLM等开源框架以及NVIDIA、AMD、Google、Amazon等硬件厂商合作。一旦TPU和Trainium加入，捐赠硬件总价值将超过1亿美元。
InferenceX最核心的贡献在于提出了“吞吐量-交互性帕累托最优曲线”（throughput-interactivity Pareto frontier）。推理性能并非单一数字，而是一条曲线。在硬件资源（如 GPU 数量）固定的情况下，大模型推理面临着两个天然对立的指标：
- 吞吐量 (Throughput)：指单位时间内、每张 GPU 能够处理的总 Token 数量。吞吐量越高，意味着硬件利用率（MFU）越高，单个并发用户的运营成本就越低。
- 交互性 (Interactivity)：指最终用户的实际体验。主要包含两个维度：
- 首字延迟 (TTFT)：用户发送请求到模型吐出第一个字的时间（Prefill 阶段）。
- Token 生成速度 (TPOT)：大模型逐字蹦出新词的速度（Decode 阶段）。生成速度越快，用户的“交互感”越顺畅。
为什么存在“帕累托前沿”？帕累托前沿（Pareto Frontier） 是指在现有技术和硬件限制下，无法在不牺牲一个指标的前提下提高另一个指标的“最优边界”。
- 追求极高吞吐量：系统会采用极大的 Batch Size (批处理大小)。这会使得多路请求在显存中排队，导致每个用户的首字延迟变长、蹦字速度变慢。此时系统处于“高吞吐、低交互”状态。
- 追求极高交互性：为了让用户瞬间看到结果并且蹦字极快，系统必须采用非常小的 Batch Size，甚至让请求即来即推。但这会导致 GPU 算力无法被喂饱，造成大量的硬件资源闲置。此时系统处于“高交互、低吞吐”状态。
Patel指出，当前AI基础设施市场采用“一刀切”的部署模式，但未来将出现明显的分层：实时对话应用需要曲线的高交互性端，而批量文档处理、离线推理等任务则需要曲线的低成本端。Anthropic的Claude Code Fast Mode就是这一分层的典型例证——更快的推理速度以更高的价格为代价。
InferenceX追踪的数据揭示了推理经济的惊人趋势：同等质量水平的推理成本在过去一年中下降了约60倍，智能每瓦特提升了约40倍。这一降幅并非仅来自硬件进步（从Hopper到Blackwell约30倍），更来自模型层和协同设计层的持续优化。InferenceX目前覆盖近1000张前沿GPU，测试范围涵盖过去4年NVIDIA的6款西方GPU SKU以及过去3年AMD的所有西方GPU SKU。
三、模型架构分化与硬件选择的错位
Patel揭示了一个关键但常被忽视的事实：不同模型架构对硬件的适配性存在根本差异，而这一差异正在重塑AI基础设施的投资格局。
OpenAI的模型相对更稀疏（sparser），Anthropic的模型相对更稠密（denser）。这一架构差异直接影响了它们对硬件的选择。稀疏模型中专家模块的数量和大小、激活路径的选择模式，都与矩阵乘法单元的大小、内存带宽的分配方式、网络拓扑结构高度相关。Patel指出，OpenAI如果转向TPU可能是“糟糕的决定”，而Anthropic和Google如果用GPU训练也可能是“糟糕的决定”——不是因为硬件本身优劣，而是因为模型架构与硬件架构的匹配度不同。
网络拓扑是另一个关键分化维度。NVIDIA的NVLink只能连接72个GPU，需要通过外部交换机扩展；Google的ICI（Inter-Chip Interconnect）可以在无交换机的情况下连接8000颗芯片，但数据必须经过其他芯片中转。这一差异直接影响模型并行策略的选择——大规模专家并行（wide expert parallelism）在Google的拓扑上更高效，而在NVIDIA的拓扑上则需要不同的优化路径。
Patel强调，这种分化是动态的。模型实验室自身也在不断探索不同的架构方向，他们“甚至不知道一年后会用什么样的架构”。他们同时押注多个研究方向。因此，过于专精于某一种硬件架构可能带来“局部最优陷阱”——今天的完美匹配可能在下一轮模型架构突破后变成错误的方向。这就是为什么Google同时推进三个不同的TPU设计项目，分别与Broadcom、MediaTek等不同合作伙伴采用不同架构。
四、CUDA护城河的真正本质与松动迹象
Patel对CUDA护城河的分析可能是整个对话中最具颠覆性的观点之一。他的核心论断是：CUDA的护城河从来不是关于CUDA本身。
行业普遍认为NVIDIA的竞争优势来自CUDA编程生态——400万开发者、20年积累、所有主流ML框架优先为CUDA优化。但Patel指出，真正让NVIDIA难以被替代的，是整个开源模型生态系统的“形状”天然为NVIDIA GPU优化。DeepSeek、Qwen、Yi等开源模型的专家大小、隐藏维度、注意力机制结构都是在NVIDIA GPU上设计和验证的。当开发者拿到这些模型并部署在TPU或AMD GPU上时，性能不佳不是因为硬件差，而是因为模型的“形状”从未为这些硬件优化过。
然而，这一格局正在发生根本性变化。Patel指出了三个驱动力：
第一，AI模型本身已成为优秀的代码生成器。模型公司不再需要依赖庞大的CUDA开发者生态来编写定制内核——AI可以自动完成大量底层优化工作。这大幅降低了切换到新硬件的软件成本。
第二，前沿实验室早已分叉了PyTorch等框架，并建立了自己的基础设施栈。它们不依赖开源社区的CUDA优化，而是根据自己的模型架构和硬件选择从头构建软件层。对OpenAI、Anthropic、Google DeepMind而言，“CUDA生态”几乎不是一个约束因素。
第三，硬件-软件协同设计本身正在成为一种新的护城河。NVIDIA的优势不再仅仅是CUDA，而是它能够与全球最多的模型实验室合作，获得最多的模型架构反馈，从而持续优化其硬件设计。这是一个“数据飞轮”——更多客户→更多反馈→更好的硬件→更多客户。Patel认为，这才是NVIDIA真正的可持续优势，而非CUDA编程模型本身。
五、推理市场的规模与空间计算的远景
Patel对推理市场的判断极为激进：推理将成为地球上最大的市场，超过石油市场，最终占GDP的多个百分点。这一判断基于两个核心观察。
第一，模型能力的扩展速度远超算力增长速度。Patel以Anthropic的模型迭代为例：从Opus 4.5到Mythos（近两年来最大的能力跃迁），模型从L4级软件工程师水平跃升至L6级（资深专家），仅用了两个月。但全球算力在这两个月内并未翻倍甚至增长四倍。然而，AI能够完成的有用任务数量和每个任务的价值却大幅增加。这种供需错配正是推理市场价格持续上升的根本原因。
第二，推理的经济学正在经历“成本崩溃的反向”——不是成本下降导致收入下降，而是成本下降导致TAM爆炸式扩张。当推理成本下降60倍时，大量此前不经济的应用场景变得可行。Patel以SemiAnalysis自身为例：公司去年的AI支出仅数万美元，但今年年化token支出已达700万美元——员工（包括非技术人员）大规模使用Claude进行代码编写和数据分析。这不是成本的上升，而是价值的创造。
关于空间计算（orbital data centers），Patel给出了一个非共识但深思熟虑的判断：未来3-5年内太空数据中心不会真正重要，占比低于1%；但到2040年，大部分增量算力可能部署在太空。这一判断基于两个因素：地球上的电力成本和可用性，以及太空部署的经济性随时间的变化。他特别强调自己“热爱SpaceX”，但不认为短期内的太空算力部署具有经济意义。
六、NeoCloud的兴起与Jensen Huang的多极世界战略
Patel对NeoCloud（新型AI云服务商）生态系统的分析揭示了AI基础设施市场的一个深层结构性问题：为什么传统超大规模云服务商没有主导AI云市场？
答案在于AI计算 workloads 与传统CPU cloud workloads 的根本差异。传统云服务中，Amazon的Nitro网卡提供了优秀的租户隔离和虚拟化能力，其定制SSD和Graviton CPU降低了成本。但在AI云中，这些优势反而成为性能负担：Nitro网卡影响性能；安全隔离变得不重要，因为用户租用的是整个8-GPU服务器甚至整个72-GPU机架，而非单个虚拟核心；用户签订的是长期合同而非按小时租赁。传统超大规模云服务商在CPU时代的专长在AI时代部分失效，甚至成为拖累。
与此同时，NeoCloud的激励机制完全不同。CoreWeave、Crusoe等公司的团队高度杠杆化——更快交付算力意味着创始人直接获益。他们愿意承担更高风险、接受更激进的交付时间表。Patel指出，Crusoe的核心团队来自加密货币 mining 背景，在高度波动的市场中锤炼出了快速执行能力。
Patel认为，Jensen Huang积极扶持NeoCloud生态系统的战略意图非常清晰：他需要创造一个“多极世界”。如果只有Google、Amazon、Microsoft三家超大规模客户，NVIDIA的议价能力将被严重削弱；如果只有OpenAI和Anthropic两个模型实验室，同样如此。因此，NVIDIA向全球各地的AI实验室和NeoCloud提供资本、技术和产能支持——包括中国实验室——以维持一个分散的买方格局。
这一战略的直接体现是NVIDIA对众多AI初创公司的投资，以及对NeoCloud集群兜底支持。今天，卖给CoreWeave的一块GPU和卖给Google的一块GPU对NVIDIA而言价格相同；但五年后，CoreWeave和Crusoe的存在意味着Google TPU和Amazon Trainium的竞争力会被削弱，更多推理工作负载会运行在非超大规模云服务商处，这对NVIDIA更有利。
七、算力瓶颈的迁移轨迹与供应链约束
Patel将过去几年AI算力瓶颈的变化描述为“打地鼠”游戏：解决一个瓶颈，新的瓶颈从供应链的另一端冒出来。这一迁移轨迹本身揭示了AI产业链的结构性特征。
2022-2023年的瓶颈是CoWoS先进封装产能。当时NVIDIA无法生产足够多的H100，不是因为芯片良率问题，而是因为CoWoS封装产能不足。2023-2024年的瓶颈转向电力和数据中心用地。超大规模云服务商发现，即使有芯片，也没有足够的电力容量和合适的土地来部署集群。
当前（2026年）的瓶颈正在向半导体制造环节回归。Patel指出，洁净室产能是今明两年的最大瓶颈。进入2028-2030年，约束将进一步下沉到半导体设备层——特别是ASML的EUV光刻机。目前全球EUV光刻机年产量约70台，未来几年可能增加到80台，但到2030年前很难超过100台。每台EUV光刻机价格约12亿美元，却制约着数百亿美元的芯片产能。
存储芯片是另一个关键约束。Patel警告，DRAM价格可能从现在起翻倍甚至翻三倍，因为真正的增量供应在2028年前不会到来。HBM的晶圆消耗是普通DRAM的四倍，这将进一步挤压手机等消费电子产品的DRAM供应。科技巨头2026年资本开支中可能有30%被存储芯片吞噬。
Patel对“电力是终极瓶颈”的说法提出了反直觉的解决方案。他认为美国卡车柴油发动机的制造能力可以相对容易地转化为分布式发电——将柴油发动机反向驱动电机发电，由汽车修理工维护。这不是说电力问题“ 无关紧要”，而是说相比半导体设备产能这类供应链底层约束，电力有更多工程上可行的解决方案。
八、模型进展的持续性与“AI无ROI”谬误
Patel对“AI没有ROI”和“模型能力plateau ”两类论调表达了强烈的不满。他认为这些观点忽视了基本事实：模型能力的时间线一直在向右上方延伸。
他指出，某些基准测试看似饱和只是因为测试本身太简单——当模型在MMLU等基准上达到90%以上后，需要新的、更具挑战性的基准。而新基准的分数正在快速攀升。这不是平台期，而是测量工具的更换。
更重要的是，模型迭代速度本身在加快。Patel指出，Scaling Laws仍然有效——Mythos是一个“明显更大规模的模型”，训练规模等效于10万块Blackwell芯片，所有迹象表明“往模型里砸更多算力，模型就会变得更强”的趋势线依然成立。模型从L4到L6级工程师仅用了两个月。
Patel进一步指出，模型正在帮助编写下一代模型的基础设施软件，形成了一个“伪递归自我改进循环”（pseudo recursive self-improvement loop）。工程师效率的提升直接转化为模型迭代周期的压缩，而更强大的模型又能进一步提升工程师效率。这一正反馈循环意味着模型改进的速度可能不是线性的，而是加速的。
关于ROI，Patel以Anthropic为例：Anthropic在Q2实现了剔除股权激励后的净利润盈利，Q3可能实现包含股权激励的全面盈利。其API业务的单token毛利率超过80%。即使将计算成本翻倍，毛利率仍超过50%。这意味着每一块新增GPU都能立即以正毛利产生收入——不是“未来可能盈利”，而是“当下就在赚钱”。
九、技术长周期展望：从硅光到模拟计算
在10年时间框架内，Patel关注几个可能重塑行业格局的技术方向。
首先是共封装光学（co-packaged optics，CPO）。Patel认为这不是“是否会发生”的问题，而是“何时发生”的问题——2027、2028、2029或2030，必然发生。CPO将光学通信直接集成到芯片封装中，大幅降低电光转换的功耗和延迟，是突破当前网络带宽瓶颈的关键路径。
其次是芯片级功率密度的突破。过去二十年，数据中心芯片的功率密度一直稳定在约1瓦特/平方毫米。NVIDIA下一代芯片将达到1400-2000瓦，Reuben Ultra可能达到4000瓦——但这主要通过增大芯片面积实现。真正的突破在于将功率密度推高到1瓦特/平方毫米以上，这需要解决热管理、电信号干扰等一系列硬工程问题。一旦实现，相同算力所需的硅片面积将大幅减少。
Patel特别提到了一些长期技术押注，如Ravi Nair（前Google TPU架构师）创立的公司，试图在硅层、软件抽象层和模型层同时创新，包括模拟计算和基于能量的模型。Patel认为这类尝试“大概率不会快速成功”，但代表了行业探索的正确方向——不是单一层次的改进，而是跨层次的协同创新。
在太空领域，Patel认为10年时间框架内太空数据中心和 asteroid mining 将成为真正令人兴奋的方向。他强调自己“热爱SpaceX的愿景”，但不提供投资建议。
总结与展望
Dylan Patel的整套分析框架可以归纳为三个核心命题。
第一，AI性能改进的真正杠杆在于硬件-软件协同设计，而非单一层次的优化。当模型架构、系统软件与芯片设计三者被共同设计时，单项改进的叠加效应会被非线性放大为100倍。这一洞察对于投资决策的含义是：评估AI基础设施公司时，不能只看硬件规格或软件生态，而要看其跨层次协同设计的能力。
第二，推理经济正在经历从“成本下降”到“TAM爆炸”的质变。60倍的年成本降幅不是收入的缩水，而是可寻址市场的指数级扩张。推理将超过石油成为全球最大的市场之一。这意味着AI基础设施的投资逻辑应从“训练资本开支”转向“推理运营支出”——后者的体量和持续性远超前者。
第三，AI产业链的瓶颈正在从封装→电力→数据中心→晶圆厂→设备层层迁移，最终可能卡在ASML的EUV光刻机产能上。这一迁移轨迹意味着投资者需要动态跟踪瓶颈位置的变化，而非押注单一环节。同时，Jensen Huang刻意扶持NeoCloud和全球AI实验室以维持多极世界的战略，正在重塑整个AI基础设施的竞争格局。
展望未来3-5年，Patel认为算力紧缺状况将持续存在，因为模型能力扩展的速度持续快于算力增长速度。但这一 紧缺状况并非均匀分布——拥有最强协同设计能力的实验室和拥有最快交付能力的NeoCloud将获得超额回报。模型架构的分化将导致硬件选择的进一步碎片化，通用GPU仍将占据最大市场份额，但ASIC在特定工作负载上的优势将不断扩大。
最终，Patel的分析指向一个更深层的结论：AI基础设施的竞争正在从“谁有最好的芯片”转向“谁能在模型-系统-芯片三个层次上实现最快的协同迭代”。这是一场关于组织能力、工程文化和跨学科人才的综合竞争，而非单纯的技术军备竞赛。
免责声明
本文基于SemiAnalysis创始人Dylan Patel与红杉资本的公开对话内容整理而成，不构成任何投资建议，亦不代表任何机构的正式立场。本文仅用于研究与教育目的。文中提及的所有公司、产品、技术及数据均来自对话内容，其准确性和完整性由原始信息来源负责。
