ARTICLE · 1259688
华为三张算子榜被AI「屠」了!
华为三张算子榜被AI「屠」了!
同样一款大模型、同样一块芯片，换一套更高效的底层算子，推理速度就可能拉开明显差距。 DeepSeek 在底层计算优化上已经下了不少功夫。从 FlashMLA、DeepGEMM 等高性能算子库，到近日开源的推理框架 DeepInfer，相关工程成果正陆续开放。 就在 DeepInfer 开源的不久后，一个叫 ForgeKernel 的项目，在 DeepSeek V4.1 Flash 相关算子任务上，跑出了比其开源 NVIDIA 实现更快的结果。 这些 Kernel 由 AI 自主编写、测试和反复优化，整个过程无需工程师逐行调优。 ForgeKernel 还登顶了两大公开算子榜单：NVIDIA SOL-ExecBench 的 FlashInfer-Bench B200 合集，以及昇腾 CANNBench 的 A3、950DT、950PR 硬件榜。 一边是积累了大量专家实现和优化经验的 CUDA 生态，一边是拥有独立硬件架构与软件工具链的昇腾。两张榜单对算子优化提出了不同的考验。 AI 自动生成 Kernel 已经不算新鲜事。如今，更重要的是它能否在成熟的高性能实现面前继续挖掘优化空间，以及这种能力能否适应不同硬件。 基础模型已经能完成这样的优化任务，过去为 Kernel Agent 设计的复杂流程，还有多少是必需的？ 
先看 NVIDIA 的 FlashInfer-Bench。 它面向大模型推理中的实际算子任务，测试平台是 Blackwell 架构的 B200 GPU。参赛者需要在保证计算正确的前提下，尽可能压低执行延迟。 ForgeKernel 目前位居合集第一，26 道任务全部通过，SOL Score 为 0.814011，平均加速比 5.49×。 
第二名 Infinigence AI 的 SOL Score 为 0.808181。第一梯队还有多支团队通过了全部 26 道任务，头部竞争的焦点已经落到执行延迟上。 同一个算子，在不同输入规模、序列长度和数据布局下，最优实现可能不同。计算分块、并行方式与数据访问策略的细微差异，都可能影响最终速度。 昇腾 CANNBench A3 硬件榜则在另一套计算平台上检验算子优化能力。 10 月 15 日，由昇腾 CANN 官方仓库维护的 CANNBench v1.1 正式封榜。 面对 53 个算子、1060 个公开测试用例，ForgeKernel 以 8566.11 的总分排名第一，基准加速比达到 1.835×。相比第二名的 1.474×，这一指标领先约 25%。 
五天后，CANNBench v2.0 开启新一轮评测，测试任务扩展至 60 个算子。 ForgeKernel 继续占据 A3 硬件榜首。截至 10 月 26 日，榜单显示其总分达到 4130.38，基准加速比为 1.919×。 
不仅是 A3，ForgeKernel 在昇腾 950DT、950PR 两张硬件榜上也均位列第一，基准加速比分别达到 1.589× 和 1.875×。 
过去，大模型即便能写出正确的 CUDA 代码，也很难独立完成后续的性能优化。因此，专用 Kernel Agent 往往需要配备知识库、性能分析工具和固定的调优流程。 MIT 韩松团队的 Kernel Design Agents (KDA) 就是其中的代表。它提供 KernelWiki 知识库、Blackwell 架构编程指南和性能分析 Skill，并为模型安排了明确的优化步骤。 NVIDIA 的 AVO 把领域知识与演化搜索结合起来，CAKE 则借助编译器验证和代价模型提供优化反馈。 专业知识和固定流程可以帮助模型少走弯路。如今，通用编程 Agent 已经能自行调用工具、修复错误，围绕性能目标持续修改代码。许多过去需要写进工作流的步骤，也开始由模型自主决定。 论文《JustGoal: With Only a Goal, the AI Baseline Is Above the Expert Kernels》便直接拿掉这类专业指导，检验模型自身的算子优化能力。 研究者先把专用 Kernel Agent 的 Harness 拆成三个部分：负责编译、正确性验证和性能计时的评测基础设施，提供优化经验的领域知识，以及规定搜索步骤的工作流程。 随后只保留评测核心，移除预设的专业知识和固定工作流。这套极简方案被称为 JustGoal。 
每次实验，模型只接到一个算子和一组具体输入配置。给它的中文指令仅有四句话：先测出参考 Kernel 在 B200 上的执行延迟，再从零写出正确且更快的版本。 算法怎么选、先改哪里、何时进行性能分析，提示词都没有规定。编译失败由模型自己修复，性能不够好就继续修改。它可以主动使用性能分析工具，但没有专用 Skill 替它安排优化步骤。 提示词很短，正确性检查却没有简化。 为了防止模型通过牺牲精度换取速度，研究者先用 fp32 的朴素实现作为数值参考，测出专家 Kernel 相对这一参考的误差，再要求 AI 生成的 Kernel 不得超过同样的误差范围。 最终评测还会使用 Agent 没见过的随机输入和边界案例，防止代码只针对已知测例优化。 研究团队使用同一套 Goal 模式和评测任务，比较了 Opus 4.8、Opus 5 和 Fable 5.1 三代基础模型。 测试对象包括 FlashAttention-4 的反向计算、DeepSeek Sparse Attention 的前向计算，以及 Gated DeltaNet 的预填充前向计算，硬件统一为 NVIDIA B200。 
以人类专家实现为 1.0× 基线，Opus 4.8 在已测试任务上的平均性能还落后于专家；升级到 Opus 5 后，三组任务已经追平或超过基线。 到了 Fable 5.1，FlashAttention-4、DeepSeek Sparse Attention 和 Gated DeltaNet 的几何平均加速比分别达到 1.08×、1.58× 和 1.58×。 同一套极简 Goal 模式，随着基础模型升级，三组算子的平均性能全部越过了专家基线。 人类专家之外，研究团队还将 KDA-0.5 公开的 DeepSeek Sparse Attention 和 Gated DeltaNet 实现放到同一测试环境中重新计时。 KDA-0.5 在这两组任务上的几何平均加速比分别为 1.45× 和 1.28×，Fable 5.1 的 Goal 模式则双双达到 1.58×。 在这两组任务的平均性能上，极简 Goal 模式生成的 Kernel 已经超过了 KDA-0.5。 Gated DeltaNet 的长序列预填充任务提供了一个更直观的例子：同一组输入下，专家参考实现的延迟为 145.6 μs，KDA-0.5 降到了 125.5 μs，Fable 5.1 的 Goal 模式则只需 94.5 μs，比 KDA-0.5 又降低了约 25%。 
研究团队采用的参考实现也经过专门筛选。FlashAttention-4 对照官方实现，另外两组任务则在 FlashInfer 和 MLSys 2026 竞赛优秀方案中，按输入配置选择更快的版本。 FlashAttention 公开时间最久，相关代码和优化经验也最丰富，却是 Goal 模式最后才越过专家平均性能线的算子。 Fable 5.1 在 FlashAttention-4 反向计算上的几何平均加速比仅为 1.08×，其中一个测试配置仍比官方实现慢。专家实现已经经过充分打磨，留给 AI 的进一步优化空间也更小。 四句话只是给出目标，实际调优依然需要反复试错。Agent 持续编译、测试和修改代码，直到连续 20 轮评测没有新的性能提升。 FlashAttention-4 的一组测试甚至在运行约 37.2 小时后，才找到最后一个更快的版本。 
JustGoal 已经证明，基础模型即使没有复杂的专用优化流程，也能写出性能超过专家的 Kernel。但面向实际算子优化任务，ForgeKernel 并没有直接照搬这套极简方案。 JustGoal 论文的署名机构包括清华大学和面壁智能。而 ForgeKernel 背后的研发团队，同样来自面壁智能。 
ForgeKernel 将 Harness 的设计重点放在长程规划上：减少固定的算子调优步骤，让模型自主组织多轮优化，持续寻找更快的实现。 在实际任务中，ForgeKernel 会利用已有的专家实现作为参考，由模型针对不同硬件积累所需知识，并通过持续测试寻找更快的方案，无需为每种硬件预设独立的算子调优流程。 ForgeKernel 还与 KDA-0.5 的公开实现进行了内部对照。在 GDN、MoE 和 DSA 三类算子任务中，ForgeKernel 全部取得更快的执行速度，其中两项相对 KDA-0.5 的加速超过 1.2×。 据研发团队介绍，ForgeKernel 生成的 Kernel 已接入内部训练框架，覆盖 NVIDIA 和华为硬件环境，并完成过 MiniCPM 5 0.9B 的长训测试。 团队还针对实际生产负载中的不同输入配置，与人工实现进行了性能比较。 
一个 Kernel 的执行时间，差几微秒看似不起眼。放进持续运行的模型训练和推理中，底层代码的效率却会直接影响算力消耗。 过去，工程师要围绕硬件和输入配置反复调试。现在，AI 已经能够自行编写、验证并寻找更快的实现。 随着基础模型能力提升，Harness 也面临新的取舍。提前规定过多优化步骤，可能限制模型的探索。面对更复杂的任务，又离不开长程规划、正确性检查和可靠的性能反馈。 AI 已经开始替 AI 优化最底层的计算。接下来，值得关注的是它能否在更多芯片和真实负载中，持续写出高性能 Kernel。 ·
DeepSeek 刚把推理框架开源，AI 就在相关算子上跑出了更快的实现，连底层 Kernel 优化也开始卷起来了。
DeepSeek 刚把推理框架开源，AI 就在相关算子上跑出了更快的实现，连底层 Kernel 优化也开始卷起来了。
双榜第一的含金量
〓 ForgeKernel 位列 FlashInfer-Bench B200 合集榜首
〓 ForgeKernel 登顶 CANNBench A3 硬件榜
〓 新一轮评测启动后，ForgeKernel 继续位居 CANNBench A3 硬件榜第一
〓 ForgeKernel 在 CANNBench v2.0 昇腾 950DT 与 950PR 硬件榜上均位列第一
NVIDIA 和昇腾的软硬件体系存在差异，但 ForgeKernel 采用同一套优化流程，在两套环境中均取得了领先成绩。
只给目标，也能超过专家
〓 不同 Kernel Agent 的领域知识与工作流程设计
〓 三条曲线分别对应 FlashAttention-4、DeepSeek Sparse Attention 和 Gated DeltaNet。水平线为专家参考实现，虚线为 KDA-0.5 在对应算子上的平均成绩。
〓 三代基础模型、专家参考实现及 KDA-0.5 的算子执行延迟对照
双榜背后的研究团队
结语
