夜雨聆风8 月 25 日，斯坦福，Hot Chips 2026。OpenAI 第一次把代号 Jalapeño 的自研推理芯片推到台前。这颗与博通合作、由 Celestica 负责系统集成的 ASIC，从 2024 年年中立项，到 2025 年 11 月流片，再到 A0 版硅片回片九个月后的公开实测，用一组出人意料的数据抢走了头条。
仅700 瓦封装功耗，每瓦吞吐和端到端延迟却全面压过 1200–1400 瓦的英伟达旗舰。
OpenAI 不是一家做大模型的软件公司吗，它凭什么做芯片？它做这颗芯片，到底在想什么？
参数表什么的过于技术，非专业人士就算拿着大模型逐条拆解也很难完全看懂。所以，我尝试去拆解了Jalapeño 的设计思路，用比较分析的方法，尝试回答芯片应该为什么而设计、由谁设计、用什么方法设计。
最终，得到了三个关键词：度量先行、与行业主流逆行的架构选择、让 AI 参与设计自身。或许，这才是Jalapeño 真正值得关注的部分。
度量先行：OpenAI关注什么指标
OpenAI 亮出了两把尺子，用户体验看「到最后一个 token 的时间」（time to last token），效率看「每焦耳产出多少 token」（tokens per joule）。
它没把力气花在单芯片峰值算力、整机吞吐或首 token 延迟等常见芯片指标上，而是把整套系统放进「请求延迟对能量/token」的完整帕累托前沿里做比较。
为什么是这两个指标？
这背后是 OpenAI 对自己处境的一个基本判断，算力增长受制于数据中心电力，不是预算，也不是机房面积。老黄在 Computex 2026 上那句话被反复引用，「如果你有 1 吉瓦的电力，那么每瓦吞吐就是收入」。就在 Hot Chips 2026 的 Vera 演讲里，NVIDIA 也展示了同一张收入曲线，「今天的数据中心受电力限制」。
准确地说，当电力成了硬约束，tokens per joule （注，瓦就是焦耳/秒）就从「效率指标」升格为「商业模式指标」。我们可以据此认为Jalapeño 的设计起点就是为能效而设计，而不是为峰值算力而设计。
从这点上看，OpenAI Jalapeño 在2026 年这个时点亮相可谓再合适不过了。
2025 年 11 月 Claude Code 拐点之后，长上下文、多轮交互的 agentic 负载开始主导生产推理流量；到 2026 年 4 月，OpenAI 的企业级 agentic 支出已经反超 ChatGPT 支出。
推理取代训练，成了最大的算力消耗场景，而推理，通常认为恰恰是 GPU 架构（或者说，NVIDIA）最不擅长的地方。
与主流逆行：不做PD分离，让 KV 留在原地
Jalapeño 最具争议的设计决策，是明确放弃当前行业普遍采用的预填充-解码解耦（PD分离），NVIDIA、AMD，乃至 Cerebras-AWS 的合作，都在这条路上。
先说说为什么主流都选择 PD分离。prefill （预填充）是计算密集型的活，decode（解码）是带宽密集型的活，把两道工序拆给两个各自调优的芯片池，在workload固定的单一输入/输出配比下，能大幅提升效率。
OpenAI提出的问题是，生产流量不会只停在一个配比上。输入输出序列长度、并发、缓存命中率、推测解码接受率、延迟目标，一天之内都在变化。一旦把设备划成两个池，prefill 需求过剩时 decode 芯片空转，反之亦然，局部利用率好看，全局利用率糟糕。
OpenAI 的判断是，与其预测一个永远在移动的最优配比，不如用单一同质芯片池，让当前阶段用不到的模块进入门控（gating），而不是为一个偶尔空闲的专用芯片池支付其整块基板、HBM、I/O 和网络的静态功耗。
PD分离还有一笔隐藏账单，KV cache 的搬运。prefill 算出来的 KV cache，必须通过网络传给 decode worker，每过一个阶段边界，就多一次同步、排队和故障面，输入越长，账单越贵。Jalapeño 的选择是让 KV 留在芯片本地，通过「按阶段改变片内计算、内存、网络的活跃配比」来适应 workload 的变化，用体系结构层面的办法解决资源搬家的问题，而不是在网络层面把数据搬来搬去。
同样的逻辑，也适用于推测解码。draft 模型必须以极低延迟喂给 verifier，要是把这两者拆到不同芯片池，本来紧耦合的解码循环就会退化成一套分布式协议，省下的那点延迟，全被通信开销吃回去了。Jalapeño 让 draft 模型与主模型共享芯片和 fabric，恰恰是为了保住推测解码赖以成立的局部性。
逼近理论峰值：一个「几乎没有固定开销」的架构
在芯片内部，Jalapeño 的设计主题就一句话：「消灭固定开销，逼近理论峰值」。OpenAI 的论点是，许多 GPU 在推理时，计算单元有大量时间其实是在等数据，而不是在计算。数据在漫长的延迟路径上搬运、在大家争抢的统一内存子系统里排队、算完还要等一个昂贵的全局内存栅栏（barrier）把所有人对齐，这些都是必须用更大的 batch 去摊销或隐藏的固定成本。
说白了，GPU 的思路是靠堆积请求把等待摊薄；Jalapeño 的选择，则是把这些等待本身去掉。
怎么消减？OpenAI把对策分成了三层。
第一层，让每颗核心拥有「自家的内存」。把 HBM 切成一个个 slice，每个 core slice 就近访问属于自己那一份 HBM，延迟低、无争抢；需要跨 slice 协作时，走一条专用的高带宽 collective 网络，专门承载张量并行这类确定性的通信，可以和计算重叠进行，其余流量再走通用 NoC。这种极简的内存层级，让权重和 KV 缓存可以明确地放在离计算最近的地方，不必像 GPU 那样绕一大圈穿过层层缓存体系。
第二层，用乱序（OoO）核心配 L1 缓存，取代其他加速器惯用的「软件管理 scratchpad + 异步 DMA」组合。后者的做法是让程序员手动安排搬运和计算的节奏，还得频繁停下等同步（barrier），这些等待就是固定开销；而乱序核心像现代 CPU 一样，由硬件动态调整执行顺序，把这些等待绕开。代价是它必须靠良好的预取（prefetch）保证数据及时到位，而这恰好是 AI 的用武之地：在带详细追踪的框架下，让 Codex 为每个 shape 自动找出最优的预取方案，几乎不需要人工干预。
第三层，矩阵引擎不挑「体型」。TPU（张量处理器） 那种大脉动阵列（systolic array）只擅长维度规整、batch 够大的规则矩阵，一旦遇到形状不规整的 matmul，性能就会断崖式下跌，也就是所谓的「性能悬崖」；Jalapeño 的矩阵引擎支持小维度矩阵，所以不必凑大 batch 或刚好整除的模型维度，也能贴近 roofline（理论峰值）。
这三层设计拧成一股绳，只为一个目标：让芯片在帕累托前沿的每一个工作点上，都有接近理论峰值的表现，而不是只为某一个点调优。OpenAI 在 Hot Chips 上甚至秀了一把通用性的「副产品」：用 Codex 提示词移植的 Doom 在芯片上以 36 FPS 运行，外加 FP32 流体模拟和 Liquid Light 交互可视化。
为 AI 编程而设计：Gluon、Codex 与编译器乌托邦的终结
Jalapeño 的软件栈，可能是它最颠覆行业的部分。
过去，要让一颗新芯片跑得快，通常要同时搞定两件事：一个功能强大的编译器，和一群精通底层的高手程序员。OpenAI 想绕开这两样，它把写底层代码这件事，直接交给了 AI。
先看它的编程语言 Gluon。Gluon 基于英伟达开源的 Triton 框架，保留了「一份代码、多核并行」（SPMD）的编程模型，但不像 Triton 那样把底层细节藏起来，而是允许程序员直接触达硬件，对于英伟达来说就是 GPU 的底层指令（PTX）、矩阵乘加指令（MMA）、显存搬运指令（TMA）、同步屏障（mbarrier）。
Gluon 真正的创新是一个叫「布局（layout）」的概念。OpenAI 发明了一套名为 Linear Layouts 的数学语言，用来精确描述「张量的每个元素，究竟放在硬件的哪个位置」。有了这套形式化的描述，软件就能「证明」某种数据摆放是对的，并自动找出最优的数据重排（memory swizzling）方案。
打个比方，同样一堆货，过去靠老师傅凭经验决定怎么码放进仓库，现在变成了一道可以用数学证明的题。
硬件这边是一个「空间架构」，每个 Gluon 程序对应一个长期驻留的线程（persistent thread）；程序里每个张量都通过 TensorInfo 明确声明「放哪里、用什么布局」；程序员用信号量（semaphore）协调数据的先后流动。
这套模型的设计原则，OpenAI 自己概括为「对人类简单、对前沿 AI 容易编程」，也即把映射（mapping）、放置（placement）、调度（scheduling）、流水线（pipelining）这些对人来说又繁重又容易出错的活，干脆全部丢给 AI 去搜索。
于是就有了一套以 AI 为核心的算子（kernel）开发流水线。早期是人和 AI 一起写，后来基本交给一个规模化部署的内部版 Codex。Codex 写算子像写汇编：单个算子最长约三千行，还自带正确性检查和自定义的 sanitizer（专门用来揪内存问题的工具）。它写出的 attention 和 MoE 算子，比人类专家手写版本快 1.5–1.8 倍，而且都在芯片上端到端实测过。
最能说明问题的一个细节是，OpenAI 在给 DeepSeek 跑 InferenceX 基准之前，内部压根没有 MLA 算子的实现，是 Codex 在没有任何算子工程师介入的情况下，快速写出了既能用又高效的版本。配套的还有内部 serving 引擎 Teacup、片上循环的gigakernel 大算子、以及精度误差在 5% 以内的模拟器 chilisim。整个系统的调试跑通（bring-up）速度也快得惊人：8 天内把 8 卡并行（TP8）扩成整机架的 32 卡（TP32），两周内让某些交互场景的吞吐翻倍。
这里藏着 OpenAI 一个几乎不加掩饰的主张，如果 Jalapeño 成功，那么行业对「完美的编译器、通用的编程模型」的执念，很可能被前沿 AI 本身证伪。编译器不必完美，因为 AI 可以替你搜出足够好的代码。英伟达花 200 亿美元收购 Groq，买下的是「确定性低延迟推理」的 IP；OpenAI 的答案正好相反，不需要把模型蚀刻进硅片，只需要让 AI 足够擅长把任意模型快速跑起来。
这个做法很OpenAI。
AI 设计 AI 芯片：9 个月流片背后是方法论，不是魔法
从设计到流片约 9 个月，从组队到流片约 16 个月，OpenAI 与博通声称，这是高性能 ASIC 史上最快的开发周期。
听到这个数字，你脑海里可能浮现的是「AI 独立写完一整颗芯片」的画面。先别急着想象，那是误读。
真实图景是，AI只是深度参与了架构探索、功耗仿真、强化学习优化，以及 PPA（性能/功耗/面积）的局部打磨。OpenAI 用自研的 XLS 硬件描述语言，主架构改动一直改到 RTL 冻结前一天。AI 辅助带来的是可测量的收益，Hot Chips 上展示了单个 BF16 乘法单元 PPA 提升 56%、矩阵单元面积缩小约 10%，SemiAnalysis 的报道还提到 SIMD 面积缩小约 8%。
但真正关键的，是那套方法论闭环。OpenAI 说，规格不是一开始就完整的，而是通过「measure–verify–learn–change」循环，在 workload 模拟、RTL、QoR 分析、DV 与物理设计之间不断收敛。AI 把「设计—验证—改版」的反馈周期，压缩到了人类团队望尘莫及的速度，这才是 9 个月与行业常态 24 个月之间差距的来源。
Greg Brockman 的话可以视为这套方法论的总结：「我们利用服务于用户的前沿模型，来优化运行未来模型的基础设施。」
这里头还有个微妙的讽刺，SemiAnalysis 特别点了出来，OpenAI 用来设计这颗芯片的模型，比如跑在 NVIDIA GPU 上的 GPT 5.6 Sol，正在被用来打造一个威胁 CUDA 护城河的产品。
换句话说，英伟达自己的 GPU，正在实时地，帮着自己的潜在继任者长大。
性能与站位：和 Blackwell 比较不公平
SemiAnalysis 用 InferenceX 套件在 OpenAI 实验室实测，结论是，Jalapeño 在几乎所有场景的每瓦性能上，都超过了 Blackwell。
以 GPT-OSS 120B、DeepSeek R1 671B、Kimi K2.5（1 万亿参数，Cursor Composer 2.5 基于它开发）三个模型为例，均为 MXFP4 部署。Jalapeño 以 700W 对比 GB200 1200W / GB300 1400W，峰值混合 token 吞吐每千瓦高出约 1.5–1.9 倍，端到端延迟低 1.7–3.6 倍；高交互场景下，吞吐再高出 2.1–4.1 倍。单用户并发下，DeepSeek R1 跑到 700+ token/秒，Kimi K2.5 约 700 token/秒（是第二名 100 token/秒的 9 倍以上），GPT-OSS 约 1400 token/秒。OpenAI 还展示了在「上一个最优 token 间延迟（TBT）」工作点上，最高超过 100 倍的吞吐优势（DeepSeek R1 上约 104 倍），以及在热门模型上亚毫秒级的 token-to-token 延迟。
数字漂亮得惊人，但 SemiAnalysis 自己写了三个严谨性注脚。
第一，这些数字由 OpenAI 提供，虽经现场验证，但 InferenceX 是 8k1k 短上下文单轮负载，比真实生产更容易调优；他们更看重的 AgentX（长上下文多轮，能压力测试前缀缓存、路由器等 serving 栈组件）还没跑。
第二，与 Blackwell 的比较「不完整也不公平」，Jalapeño 用的是更新一代的 HBM4，真正的对手，应该是同样用 HBM4 的 Rubin。
第三，Jalapeño 的对比都不含推测解码（STP），而竞品都用了 MTP。
即便如此，把 Jalapeño 放到与 Vera Rubin 的对比中，依然不落下风：Jalapeño 的 STP 输出 token 吞吐/兆瓦，超过了英伟达与 CoreWeave 在 7 月公布的 Rubin MTP 结果（后者此前被算出是 GB200 的 5.4 倍每瓦性能）；每瓦 HBM 带宽为各加速器之最，每瓦 FLOP 仅次于 1800W 的 Rubin Max-Q；在 perf/TCO（每美元输出 token）上与 Vera Rubin 打平，而这还没算上推测解码。一旦给 Jalapeño 加上推测解码，成本优势还会进一步扩大（OpenAI 估计 MTP 在同等效率下，还能带来 3–5 倍的延迟改善）。
TCO（整体拥有成本）的优势，部分来自用博通的低毛利换掉英伟达的高毛利。但 SemiAnalysis 提醒了一句：Meta 和微软的 ASIC 项目投入更久，却迟迟没能落地。说明成本只是方程的一半，软硬件协同的 bring-up 速度，才是另一半。
机架即产品：电力、HBM4 与 10GW 的算力赌注
Jalapeño 不是一颗颗卖的，它以机架为单位交付。
每个 ASIC 机架含 16 个 Vindaloo 托盘（每托盘 8 颗，共 128 颗）+ 8 个 Chana 交换托盘，侧挂一个 Katsu 主机机架（16 个 CPU 托盘，各含两颗 AMD EPYC Turin 与 1.5TB DRAM）。双机架系统总功耗约 160kW（主机架约 50kW + ASIC 机架 130kW），大致相当于一台双宽 GB300 机架的功耗，但它给的是 1.7 EFLOP（4-bit）计算、约 27.5TB HBM4 和近 2 PB/秒的聚合内存带宽。The Register 对比后发现，AMD 与 NVIDIA 的最新机架算力更高（1.46–2 倍）、内存略多（最多多 12%），但内存带宽只有 Jalapeño 机架的约 85%。而推理，恰恰是带宽为王。
Scale-up 网络分两级：机架内本地域 128 颗 ASIC 全互联（每颗 4.8Tb/s 单向，经 6 颗 Tomahawk6 交换芯片），跨机架全局域 2048 颗 ASIC（每颗 1.6Tb/s，8-rail 架构 + 光交换 OCS）。之所以把 scale-up 铺得这么宽，是因为它只占总系统成本约 10%，却为未来 10–20 万亿参数模型、200–400 万 token 上下文窗口，预留了选择权。
供应链与商业层面，Jalapeño 是 HBM4 的早期采用者，据报由三星供货，pin 速率 10Gbps，略高于英伟达在 Rubin 上的 9.6Gbps。再配合 2025 年 10 月与博通签署的 10GW 部署协议，以及 2026 年起与微软等合作伙伴的千兆瓦级数据中心，Jalapeño 很可能成为 HBM4 供应的新竞争者。
时间线上，A0 版工程样片已交付，B0 版（约 25% 每瓦性能提升、13.4 PFLOP MXFP4、TSMC N3P 单 die）正在晶圆厂中；量产将在 2027 年逐步爬坡，大部分产能排在 2027 年 Q4。
OpenAI 官方的下一步目标是 100MW 部署；Bloomberg 报道，OpenAI 称这颗芯片可将推理成本降低约 50%。
Jalapeño 真正挑战的，是「芯片应该怎么设计」这件事
把 Jalapeño 放回行业坐标里看，它的意义可能被低估了。
从 2024 年年中组队到 2025 年底流片，16 个月；从 A0 硅片回片到跑通三个大模型，3 个月；从 TP8 到整机架 TP32，8 天。这三组数字叠在一起，说明 OpenAI 真正在做的事，是把「从意图到可运行算力」的周期，压缩到了行业从未见过的尺度。
背后是三条设计哲学的交织。
度量上，它把「每焦耳 token」当硬通货，因为数据中心被电力锁死了。
架构上，它敢于与 PD分离的主流逆行，用同质池加 KV 本地化，去换对不可预测 workload 的鲁棒性。
方法论上，它让 AI 深度参与设计自身，不是「AI 独立成神」，而是「AI 当超级副驾驶」，把全过程闭环，压到人类团队望尘莫及的速度。
这些选择当然不是没有风险。Jalapeño 还没经过 AgentX 这类真实生产负载的检验，还没规模化量产，2027 年 Q4 才见真章；HBM4 供应、良率、与 NVIDIA/AMD 软件栈的差距，都还是未知数。
但退一万步讲，即便 Jalapeño 最终没能如期兑现，它已经示范了一种可能性：在推理成为主导工作负载、电力成为硬约束、AI 成为设计工具的时代，芯片设计的答案，也许不再来自更大的 die、更高的 TDP，也不再来自更完美的编译器，而来自你是否敢为推理从零设计，并且，让 AI 参与其中。
当 OpenAI 用自己 GPU 训练出来的模型，设计出一颗威胁 CUDA 的芯片时，英伟达最坚固的那条护城河，也许正被最意想不到的人，从内部一点一点挖开。
参考文献
SemiAnalysis:OpenAI Jalapeño: Better Than Nvidia Blackwell（Hot Chips 2026 现场实测） ServeTheHome:OpenAI Jalapeno Custom AI ASIC at Hot Chips 2026（https://www.servethehome.com/openai-jalapeno-asic-at-hot-chips-2026/） The Register:OpenAI's upcoming Jalapeño chip looks like it'll be an inference beast（https://www.theregister.com/systems/2026/08/25/openais-upcoming-jalapeno-chip-looks-like-itll-be-an-inference-beast/5292052） OpenAI 官方发布：OpenAI and Broadcom unveil LLM-optimized inference chip（https://openai.com/index/openai-broadcom-jalapeno-inference-chip/） Broadcom 官方新闻稿（https://investors.broadcom.com/news-releases/news-release-details/openai-and-broadcom-unveil-llm-optimized-intelligence-processor） CNBC:OpenAI Jalapeño AI chip challenges Nvidia in inference（https://www.cnbc.com/2026/08/26/openai-jalapeno-ai-chip-nvidia.html） Tom's Hardware:OpenAI's 700W Jalapeño ASIC outpaces 1,400W Nvidia flagship GPU（https://www.tomshardware.com/tech-industry/semiconductors/openai-says-its-jalapeno-chip-beats-nvidias-gb300-in-first-published-benchmarks） TrendForce:OpenAI Debuts Jalapeño AI Inference Chip, with Samsung Reportedly Supplying HBM4（https://www.trendforce.com/news/2026/08/26/news-openai-debuts-jalapeno-ai-inference-chip-with-samsung-reportedly-supplying-hbm4/） 国际电子商情、电子工程专辑等中文报道
