
OpenAI 拿出了首颗自研推理芯片——与 Broadcom 合作设计的 Jalapeño。官方称,该芯片为 OpenAI 推理系统定制,自家模型参与了设计,早期测试中每瓦性能“显著优于当前最先进方案”。市场立刻将其解读为对 Nvidia 垄断地位的正面冲击。
但芯片从 PPT 落地数据中心,中间不只有流片风险,还有成本结构、生态依赖和架构锁定问题。真正值得问的是:这颗芯片宣称的“降本”,到底来自架构上的真功夫,还是特定测试条件下的营销剪裁?即便它在某些场景确实赢了,OpenAI 有没有能力把这点优势放大成一张独立的算力牌?
官方公告提到了“低运行成本”与“实时编码模型”,却未给出任何具体的基准测试名称、对比芯片型号或功耗–延迟曲线。这很重要:推理场景中,功耗优势的含金量完全取决于负载类型。
如果 Jalapeño 的早期数据来自短文本问答或低并发任务,高能效根本算不上奇迹——这类轻负载本身就容易在低功耗区间完成,甚至一颗裁剪得当的 CPU 也能跑出不错的每瓦数字。真正考验的是高并发、长上下文、大 batch 场景:当请求密集涌入,芯片逼近热设计功耗极限,功耗曲线急剧恶化,此前的漂亮数字可能瞬间垮掉。目前 OpenAI 没有公布任何一个长上下文或多轮 agent 任务(比如 Codex 的真实使用场景)下的功耗对比,这就让“显著更好”的宣称暂时只能悬在半空。
Jalapeño 是 ASIC 思路的产物:把 GPU 里为训练准备的通用计算单元、高带宽内存控制器和 Tensor Core 中的冗余路径砍掉,只保留对自家模型推理最友好的数据流通道。这样做的好处是面积缩了、功耗降了,单位电费能跑出更多 token。
但裁掉的恰恰是灵活性。这颗芯片无法用于训练,甚至连微调都够呛。这意味着 OpenAI 在训练端对 Nvidia H / B 的依赖丝毫未减,所谓“减少对 Nvidia 依赖”只在推理这一环成立。而推理市场已是价格战红海:各家云厂商用折扣争抢 workload,。OpenAI 闯入的是一块利润远薄于训练的市场,靠自研芯片撕开成本缺口的绝对省钱额,可能远小于外界预期。
OpenAI 在公告里特别提到“自家模型参与了芯片设计”,这听起来像是技术能力的展示,但更本质的后果是设计互锁(design lock-in)。具体机制是:在芯片架构探索阶段,OpenAI 用自家大模型在模拟环境中遍历不同的数据流路径、缓存策略和指令调度方案,模型推荐最优路径,芯片再针对这些路径做物理实现。
这当然能榨出极致性能,但前提是——未来你跑的还是这套模型,或者至少是结构高度相似的下一个版本。一旦模型架构发生方向性变化,比如从 dense 转向 MoE、引入新的注意力机制或者大幅改变序列并行策略,Jalapeño 里的硬连线优化路径就可能从加速器变成瓶颈。谷歌 TPU 早期也有类似经历:第一代 TPU 只做推理,后来被迫补上训练能力,因为单一负载的定制品在迭代速度面前极度脆弱。OpenAI 有没有在芯片里留出可重配置的余地?如果没有,那 Jalapeño 的生命周期就直接绑定在 GPT 系列的迭代周期上——而谁也没法保证下一版 GPT 还走现在的技术路线。
所有自研芯片的商业账都得过同一道坎:NRE(非经常性工程费用)太高,摊到每颗芯片上的成本直接取决于出货量。Broadcom 的 ASIC 业务模型是靠几亿甚至几十亿颗的年出货量把研发费摊到几乎看不见,而 OpenAI 如果只为自己的推理负载部署,年产量可能不足以摊薄研发成本。在这个量级下,单颗芯片摊到的研发成本会吞掉大部分省下的电费。
OpenAI 没有公布任何一个关于 TCO 的数字。业界一个比较粗糙的经验法则是,自研推理芯片的总拥有成本要比直接买同等算力的 GPU 便宜 % 以上,才值得走完设计–流片–部署的全流程。没有这个数据之前,Jalapeño 的商业合理性就还只是一道没有答案的算术题。
还有一个更容易被忽略的隐性成本:供应链脱钩。OpenAI 站上自研芯片这条路,意味着它的基础设施栈会离 Nvidia 的 CUDA 生态越来越远。短期内 cuDNN 的新特性、新的融合算子可能就跟它没关系了,长期来看,当 Nvidia 在 新架构上直接做推理优化时,OpenAI 反而因为自己绑定了专用硬件而无法快速跟进。这不是说自研不对,而是说自研是一张单程票——买票之前,账要算清楚。
自研芯片的辣味,从来不是来自性能碾压,而是因为它总算有机会把 Nvidia 的税减掉一块——可减下来的这点钱,还不够买一张让 OpenAI 独立行走的算力船票。
夜雨聆风