关于SemiAnalysis：全球领先的半导体与AI基础设施研究机构，提供从供应链到技术细节的深度分析，客户覆盖对冲基金、科技巨头和创业公司。其推出的InferenceX平台已成为AI推理性能基准测试的行业标准。
Dylan Patel：SemiAnalysis创始人，12岁开始在半导体论坛担任版主，曾在量化风险公司工作，2020年起以”数字游民”身份遍历全球行业会议，2025年SemiAnalysis已发展为90人团队。
一、一个”流浪”青年如何成为半导体行业最权威的声音
从汽车旅馆到Grandmaster
Dylan Patel的成长轨迹几乎与硅谷精英模板完全相反。他在父母经营的汽车旅馆里长大，后来家里又开了加油站。他开玩笑说自己”训练的第一个神经网络”是凭视觉和种族特征判断进加油站的顾客会买哪种香烟——因为货架太高，他够不着，得先把梯子搬到正确的区域。
他的成绩”对亚裔父母来说够好了”——大部分是A，但西班牙语课成绩一般，尽管他后来学会了流利的西班牙语。真正让他”上瘾”的是《星际争霸II》：他曾打到北美服务器宗师段位（Grandmaster）。
被抢走1000万奖金后，他选择流浪
大学毕业后，Dylan在一家小型量化风险公司做了两年量化分析师。一次，他利用市场中的一个风险漏洞为公司创造了超过1000万美元的无风险收入，但”有人抢走了功劳”，最终他虽然得到了应有的补偿，但与公司的”社会契约已经破裂”。
2020年中期，他彻底”无家可归”——不是落魄，而是选择了一种游牧式的生活。他独自在拉丁美洲旅行了一年，随后又在2021至2024年间，每年参加40多个行业会议，从NeurIPS到日本某个只有300人参加的化学会议，”因为半导体行业全是婴儿潮一代，他们很少看到年轻人对这个领域如此兴奋，所以非常愿意跟你聊”。
SemiAnalysis：90人的”战场”
如今，SemiAnalysis已经发展到90人。Dylan形容办公室内部是”技术派”和”前对冲基金派”的有机混战：
“工程师说’这项技术最酷’，前对冲基金的人说’但成本呢？’然后双方就这么打起来了。考虑到我以前是论坛版主，你可以想象我们的交流风格。”
当被问到是否享受这种争论时，他引用了一句俗语：“你不会跟猪摔跤，因为猪很享受。”
二、推理市场：比石油更大的市场
当主持人开门见山地问推理是否会成为地球上乃至地球之外最大的市场时，Dylan的回答干脆利落：是的，而且远不止于此。
“Token的使用将成为最大的市场，Token创造的价值也将成为最大的市场。AI推理——无论是开源模型还是闭源模型——将成为世界上最大的市场之一。比石油大得多，比很多其他领域都大。AI推理将占GDP的多个百分点。”
InferenceX：为什么静态基准测试已死
SemiAnalysis推出的InferenceX平台，被Dylan称为”行业标杆”。他解释了为什么要做这件事：
传统的推理基准测试是”时间点”的——测试一次，发布报告，然后迅速过时。但现实中，软件库每周更新两次，新模型每周发布（”今天Mythos 5、Fable刚发布”），新的推理优化持续涌现。过去三年，同等质量模型的成本下降了60倍。
InferenceX的解决方案是”活的、会呼吸的基准测试”——持续在最新硬件和最新模型上运行。为此，他们说服了CoreWeave、Crusoe、Nebius、Oracle、微软、亚马逊、谷歌、OpenAI免费提供算力，并与SGLang、vLLM、Radix Arc、Inferact等开源项目合作，同时纳入NVIDIA、AMD、谷歌TPU和亚马逊Trainium。
延迟-交互性曲线：一切决策的下游
当主持人问这条曲线是否是最重要的曲线时，Dylan给出了肯定的回答。他认为，吞吐量-交互性曲线（throughput-interactivity curve）是AI基础设施最重要的曲线，因为几乎所有硬件、模型和应用层的决策都”下游”于这条曲线。
一端：batch size=100，每个用户10 tokens/秒，总计1000 tokens/秒——超慢，但成本极低
另一端：500 tokens/秒，但只能服务1个用户——超快，但成本极高
中间地带：50-100 tokens/秒，batch若干用户——大多数人的”帕累托最优”
“目前我们把AI基础设施当作’一刀切’来处理，但未来会分化：有些任务需要即时响应，有些可以通宵批处理。Anthropic的Claude Code快速模式比普通模式贵得多，OpenAI也有优先队列——这就是曲线在起作用。”
当主持人追问成本如何体现在这条曲线上时，Dylan进一步解释：
“假设batch size为100，每个用户10 tokens/秒，总计1000 tokens/秒——这是曲线的一端：超慢。另一端是500 tokens/秒但只能服务1个用户。中间有更多帕累托最优点，普通人其实想要50或100 tokens/秒，同时能batch一定数量的用户。”
三、硬件-软件协同设计：不是2×2×2=8，而是100倍
当主持人请Dylan拆解过去三年AI性能提升的来源——硬件、软件、模型架构各占多少时，Dylan直接反驳了前提：
“我完全不同意你的框架。”
三层优化的真相
他提出，从Hopper到Blackwell，DeepSeek最优化部署的硬件提升约30倍。但这远非全部故事。三年前是GPT-4，现在一个27B参数、仅2B激活的Qwen小模型就能做到更好。模型层的进步巨大，硬件层也有显著进步，但真正的突破在”协同设计层”。
他以DeepSeek为例：DeepSeek V3的所有专家（expert）形状都是为Hopper架构优化的，V4则针对Blackwell和华为芯片优化。
“TPU客观上是一颗了不起的芯片，它支撑了DeepMind的全部训练，也是Anthropic预训练的主力。但TPU跑DeepSeek非常糟糕。与此同时，它跑其他类型的模型又比NVIDIA强得多。”
这种深度优化涉及：专家形状、网络I/O模式、集合通信方式、注意力机制的算术强度……模型、硬件、基础设施软件三者之间是深度耦合的，无法拆解各自的贡献。
西方也在做，只是不告诉你
当主持人提到中国（DeepSeek）在协同优化方面比西方做得更好时，Dylan不认同：
“我不这么认为。更多是西方不告诉你他们在做什么。OpenAI没有透露GPT-4o有多稀疏、形状尺寸是什么。但GPT-4o的规模大致与DeepSeek V3相当，甚至略小，而且发布时间还稍早。”
100倍的来源
“真正的突破性创新发生在你跨越几个抽象层进行协同优化和协同设计时。原本可能是硬件2倍、软件2倍、模型2倍，乘法效应只有8倍。但因为你在三个层之间做了协同优化，结果是100倍。”
NVIDIA从模型层到硅片的协同优化，TSMC从耗材、工具到客户芯片设计的协同优化——都是这个逻辑。
当主持人追问未来一年最紧迫的瓶颈在哪里时，Dylan半开玩笑地反问：
“为什么要去硬件行业工作，当你可以去……”
“对，就是这样。”
四、NVIDIA vs TPU：不是二选一，而是”你的模型适合什么”
当主持人抛出那个最尖锐的问题——NVIDIA还是TPU时，Dylan拒绝选边站：
“两年后，谷歌的供应链将年产1000万+颗TPU，NVIDIA将年产数千万颗GPU。谷歌的TPU年产出价值将超过1000亿美元，NVIDIA可能超过5000亿美元——这不是具体预测，只是思维实验。”
他可以用同一副面孔论证”GPU远胜TPU”或”TPU远胜GPU”，但核心在于硬件-软件协同设计：
OpenAI的模型发展方向，用TPU可能是”糟糕的决定”
Anthropic和谷歌的模型发展方向，用GPU训练可能是”糟糕的决定”
当主持人追问两者的根本区别时，Dylan进一步解释：
“NVIDIA会说我们有交换机和通用性。TPU会说我们更优化、更节能，网络更适合某些网络架构。双方都有道理。我可以一本正经地跟你论证GPU远胜TPU，或者TPU远胜GPU，但归根结底是硬件-软件协同设计。”
CUDA护城河正在松动
当主持人提到，过去CUDA的可编程性是巨大护城河，但最近3-6个月叙事似乎变了——模型公司不再介意写自定义kernel，Claude和Codex已经能完成大量优化工作，真正需要可编程性的不是”1万家模型公司”而是大约10家——Dylan同意CUDA护城河”至少部分被拆解”，但指出一个更深层的原因：
“人们说的CUDA护城河其实与CUDA无关。真正的原因是DeepSeek、KIMI、智谱AI、阿里、腾讯、小米——他们的模型都是为GPU协同演化的。因此你想在TPU上跑这些模型，效果并不好。Google需要建立自己的开源模型生态（Gemma）来让TPU发挥优势。”
五、Cerebras：创新者的困境
当主持人问Dylan如何看待Cerebras时，他给出了 nuanced 的评价：
“Cerebras是一家非常有创新性的公司。在某些市场领域他们真的非常好。超快速推理——我认为这是一个大市场。我们在SemiAnalysis几乎只使用快速模式。”
他提到SemiAnalysis非常严格地追踪每个任务的token花费和ROI——如果有人某天花费飙升，他会问”你干了什么？”，然后判断”这值得”。
“我认为最好的模型才是你想用快速模式跑的模型，而小模型你不一定需要用快速模式。如果OpenAI的模型不是几千亿或低万亿参数，而是10万亿+参数，再加上百万token的上下文长度，SRAM架构的Cerebras和Groq就很难承载了。”
他引用了一个市场规律：实验室的收入和使用量绝大部分来自最好的模型。即使价格上涨，用户仍会切换。Fable和Mythos今天刚发布，已经有大量用户切换到这些更贵的下一代模型。
当主持人追问”按token量算呢？”Dylan反问：
“谁在乎token量？重要的是美元。我不在乎卖了20万辆Mini Cooper还是丰田凯美瑞，如果福特F-150的ASP是5倍，销量只有一半——那最赚钱的市场是皮卡。”
当主持人问，这种对经济学和技术双重关注是否是Dylan区别于他人的关键时，他回到了SemiAnalysis内部的”混战”：
“我们90人里，一大块是技术专家和供应链工程师，另一大块是前对冲基金的人。你会看到争论：’哦，那不重要。”但成本呢？”不，这项技术最酷。’这种争论是自发产生的。考虑到我以前是论坛版主，你可以想象我们的氛围。”
六、最让Dylan抓狂的论调：”AI没有ROI”
当主持人问有没有哪个半导体话题会让他觉得”这人一定是白痴”时，Dylan说：
“‘AI没有ROI’——这句话让我抓狂。他们在否认模型进步。有人说’模型没有变好，它们不会推理，不能思考，会停滞’。兄弟，能力曲线一直在右上走。’看，这个基准没提升’——那是因为已经90%饱和了。看新基准，[某项指标]正在飙升。”
他也理解半导体极其复杂，”我不怪人们不懂”。他自己从12岁开始研究半导体，已经18年，”每天都在学新东西”——昨天刚知道一种年销售额1亿美元、但每颗芯片都需要的化学品。
他最觉得好笑的是：“有人掌握了所有事实，然后结论完全错误。”
七、10年展望：太空数据中心、硅光子学与Naveen Rao
太空与硅光子学
当主持人问10年后他最兴奋什么时，Dylan给出了几个方向：
“太空在10年维度上超级疯狂——太空数据中心、小行星采矿，我对SpaceX的愿景超级兴奋。半导体方面，共封装光学所有人都知道会在十年底前发生，争论只是2027、2028、2029还是2030。但更有趣的是有些公司在硅层、软件抽象层和模型层同时创新。”
Naveen Rao：三层同时创新的疯子
当主持人确认Sequoia投资了Naveen Rao的公司时，Dylan更兴奋了：
“他完全理解这不是几年能做成的事。模拟计算、能量模型……这些疯狂的东西同时推进。大概率不会成功，但非常令人兴奋，我非常期待。肯定不会很快成功。”
Dylan透露，他2019年还在匿名发帖时，就在网上”钓鱼”引Naveen Rao回复，然后转私信、转电话——”那是我接触半导体行业第一个真正重要的人”。
八、生态终局：多极世界，没有赢家通吃
当主持人问生态系统的终局是什么——每个实验室和超大规模云厂商都会有自己的芯片吗？Dylan认为：所有人都会尝试，而且不会停止尝试。
芯片架构的”梯度下降”
目前所有芯片看起来都差不多：中间大逻辑计算die，左右上下是HBM，上方是网络，下方是PCIe和其他I/O。Trainium、TPU、NVIDIA芯片结构几乎一致。
但未来会看到硬件架构和模型架构的更大分化，人们会针对各自方向做协同优化。这就像一个梯度下降问题：有些人会跑到局部最优（local minima），问题是如何”滑回”到全局最优（absolute minima）。
NVIDIA永远比任何专用芯片更通用，因为它有大量客户反馈不同需求。但专用芯片的局部最优可能是错的——”TPU或Trainium或Groq或Cerebras的设计在这里优化得极好，但终局状态可能需要走到那边，那他们就错了。”
实验室自己也不知道一年后用什么架构
“你跟实验室的人聊，他们甚至不知道自己一年后用什么架构。他们有赌注，有很多研究赌注，这很令人兴奋，但他们不知道走向何方。如果模型架构出现新突破——比如替换注意力机制——最佳硬件就会改变。”
因此，没人敢做五年期的ASIC专用投资而不留通用计算的后手。谷歌的例子：
谷歌有三个不同的TPU设计项目（Broadcom、MediaTek、第三个未公开），架构各不相同
Gemini/DeepMind主要用TPU，但某些项目（药物发现、Waymo）可能更适合GPU
黄仁勋的”多极世界”战略
Dylan分析了黄仁勋投资新云（neoclouds）的深层动机：
“如果超大规模云厂商是唯一建算力的人，他就完蛋了。所以他必须把分配枪指向新云，帮他们兜底集群，做任何事。今天卖给Crusoe、CoreWeave、谷歌、亚马逊的GPU价格一样，但五年后，Crusoe和CoreWeave的存在意味着谷歌TPU会更弱，亚马逊Trainium会更弱。更多推理由非闭源模型实验室完成，对他更有利。”
新云是”狂野西部”：Crusoe是一帮加密货币从业者转行建数据中心，CoreWeave最初是对冲基金背景。很多人同期起步但失败了。”你把一堆诱饵扔进水里，最好的鱼会活下来。”Thinking Machines（Tinker）产品上线不到6个月，ARR已达数亿美元——”尽管媒体报道说他们流失了大量人才”。
九、算力紧缩：模型进步速度大于算力部署速度
供需两端的双重挤压
当主持人问我们是否正处于算力紧缩中、会持续多久时，Dylan确认：是的，而且是供需两端的紧缩。
-
供应端：今年将部署20吉瓦（即使考虑延迟），明年超30吉瓦——但硬件延迟是常态
-
需求端：Mythos 5/Fable 5的TAM（可寻址市场）不是Opus的2倍，而是大得多，因为模型能做的事更多
“过去6-8个月，世界算力没有翻倍或翻四倍，但AI能做的有用任务的数量和价值已经翻倍了。”
“伪递归自我改进”
Dylan提到一个关键趋势：模型进步速度正在加快，因为模型本身在帮助写基础设施、加速下一代模型的发布——”我不会称之为递归自我改进，但基本上是一个伪递归自我改进循环”。
但资本是大问题。谷歌最近融资，”他们拥有SpaceX的巨额股份，大概5%，一度有10%”。
结语：一个用论坛版主思维做研究的人
整场访谈中，Dylan Patel展现了一种独特的气质：
他既能在日本化学会议上跟只会说破碎英语的退休工程师聊1980年代的工厂火灾，也能在NeurIPS的派对上跟AI研究者争论
他既会追踪每种化学品的年销售额，也会追问”这值多少token钱”
当被问到SemiAnalysis成功的秘诀时，他的回答回到了那个”不要跟猪摔跤，因为猪很享受”的比喻。也许，正是这种不把自己太当回事、但把半导体极度当回事的态度，让他从一家汽车旅馆的柜台后面，走到了定义全球AI基础设施话语权的中心位置。
夜雨聆风
