AI训推框架周报 · 2026-10-26~11-01

本周大势： 训推一体从"接口对齐"走向 kernel 同源化——FlashInfer v0.7.3rc1 一次性补齐 GDN/MHC/conv1d 三类带梯度 autograd 后端，vLLM 把 RL 权重更新从"重建 engine"改为"张量直写活跃模型"，Megatron core_v0.20.0 把 RL 逻辑从 training.py 剥离重构权重同步链路；MoE 部署工程化一口气突破三道坎（容错 EP scale-down + 动态 EPLB + 多引擎协同执行），大规模专家并行从"能跑"走向"能稳"；本周也是发版密集周，PyTorch v2.15.0、Triton v3.9.0、vllm-omni v0.32.0、sglang-omni v0.2.0、Megatron core_v0.20.0 等 9 个正式版 + 5 个 rc/beta/补丁同周落地。一句话：推理栈正在从"兼容新模型"收敛为"训推 kernel 同源 + MoE 容错自愈 + 低比特全栈覆盖 + PD 分离生产级"。

本期大版本

本周发版线异常密集，大版本是核心看点：

• PyTorch v2.15.0（正式版） — 训练与推理侧公共运行时底座主版本升级（Release v2.15.0）
• Triton v3.9.0（正式版） — 底层编译器大版本迭代，AMD GFX1250-strict WMMA 指令覆盖补齐、two-cta 协作计算路径打通；SGLang 多处内核已同步按其语义修复（Release v3.9.0）
• vllm-omni v0.32.0（正式版） — 多模态 serving 主版本发版，跟随 vLLM 0.32，端到端多模态推理链路发行线就绪（Release v0.32.0）
• sglang-omni v0.2.0（正式版） — 实时语音双工主干发版，合入 SpeechSpec DSpark 推测解码、Nemotron Transcribe ASR（Release v0.2.0）
• vllm-ascend v0.30.0（正式版） — 昇腾适配大版本迭代，新增 Qwen3.8 Flash Next、GLM-4.7-Flash 与多项 NPU 性能优化（Release v0.30.0）
• Megatron-LM core_v0.20.0（正式版） — RL 权重同步链路重构，RL 逻辑从 training.py 剥离、DSv4 输出 RoPE 激活显存缩减、NCCL EP 支持 THD 与序列打包（Release core_v0.20.0）
• trl v1.17.0 / v1.17.1（正式版） — 新增 Mistral Large 4 支持，v1.17.1 修复 LFM2.5 tool-call 参数括号截断（Release v1.17.0 / v1.17.1）
• helion v1.5.2（正式版） — CuTe DSL 代码生成优化，collective MMA 拒绝处理、fast-math 纯化、autotuner 基线回退（Release v1.5.2）
• TensorRT-LLM v1.4.0rc2（预发布） — 1.4 第二个 RC，DynamicEPLB、NVFP4 KV cache、可中断 prefill 等能力随 RC 进入发布通道（Release v1.4.0rc2）
• flashinfer v0.7.3rc1（预发布） — 补齐带梯度训练 kernel（R200 GDN 带 grad、LM head loss），Qwen 3.8 Flash-Next 预填充块，覆盖训练-推理两侧 kernel（Release v0.7.3rc1）
• flash-attention fa4-v4.0.0.beta37（预发布） — FA4 新一代实现持续 beta，CuTe forward 统一 typed configs、SM100 swap-AB split-KV decode（Release fa4-v4.0.0.beta37）
• triton-ascend v3.6.0.post2（补丁版） — 昇腾 Triton 编译器补丁发行，国产算力内核 SDLC 闭环（Release v3.6.0.post2）
• sgl-kernel-npu 2026.9.0.post12（正式版） — 昇腾算子包发版，合入 DeepEP 集成与稀疏共享 KV 恢复（Release 2026.9.0.post12）

主题演进

一、训推一体走向 kernel 同源：FlashInfer 补齐带梯度训练 kernel，vLLM RL 直接权重重载，Megatron RL 权重同步链路重构

本周训推一体完成了一次从"接口对齐"到"kernel 同源"的跃迁——训练侧与推理侧不再各写一套 kernel，同一 kernel 矩阵同时服务前向推理与反向训练：

• 训练侧 kernel 补齐：FlashInfer v0.7.3rc1 一次性补齐 GDN sm_107a 带 grad 库、LM head loss 训练 kernel，并新增 Cake GDN 分块训练 autograd 后端（PR #8157，flashinfer）、context-parallel 分块训练后端（PR #8172，flashinfer）、Cake MHC 非确定性 autograd（PR #8160，flashinfer）、causal conv1d autograd（PR #8134，flashinfer），Blackwell SM100/SM103 上 DeepSeek V4 GDN 结构训练反向传播通路打通。
• 权重同步链路重构：vLLM 新增 RL 直接权重重载，checkpoint 张量直写活跃模型（commit b5755c3ba5，vllm），不再走重建 engine / 重新加载全量权重的路径；同时在 ParamMeta 上声明权重所有权与布局（commit 50a184f4，vllm）、RL 支持 per-update source ranks 的 NCCL 权重传输（commit 2b678ac7，vllm）。
• 训练框架 RL 链路重构：Megatron-LM core_v0.20.0 把 RL 特定逻辑从 training.py 剥离、重构 RL 权重同步链路，推理侧直接 refit FlashInfer MXFP8 expert 权重到 routed layout 只保留一份副本（PR #8560，megatron）。
• 训推一致性保证：NeMo-RL 实现 MXFP8/Mamba/TP2 下 0 train-gen mismatch（commit e9a0fc55，nemo-rl），原生 LoRA refit 成为 vLLM 默认路径（commit b00632b5，nemo-rl）；verl VeOmni 引擎支持训练侧 rollout 权重量化器（commit 6f3f449e，verl）、rl-insight 追踪权重同步阶段并按 step 上报训练指标（commit 6b2b417a，verl）。

对公司而言，训练 kernel 与推理 kernel 同源化意味着权重交接不再需要单独适配，RL rollout 到推理的权重同步从"重建 engine"走向"张量直写"，延迟大幅下降，训推一体的工程闭环基本成型。

二、MoE 部署工程化突破：容错 EP + 动态 EPLB + padding 融合 + 多引擎协同执行

MoE 大规模部署从"能跑"走向"能稳"，本周一口气突破三道工程化关键坎：

• 容错降级：vLLM 初步支持基于 scale-down 的容错 EP（commit 913fccd1，vllm），单卡/单节点故障时缩小 EP 规模继续服务而非整实例崩溃，直接提升千卡级 EP 部署的可用性。
• 动态负载均衡：TRT-LLM 引入 DynamicEPLB kernel 与运行时集成（commit b6d1a0616f，trt-llm），热点专家可在线复制/迁移，长尾请求不再拖住整步 decode 时延；vLLM EPLB 冗余专家数默认取最小有效值（commit 8ecf86ba，vllm），省下无谓显存与通信开销。
• 计算路径精简：vLLM 把 MoE padding 跳过逻辑融合进 grouped 与 Muse prepared routing（PR #64955，vllm），将 dispatch 路径中 padding 跳过融合为单次操作；单 kernel 融合 sparse-indexer 评分与 top-k 选择（PR #60618，vllm），避免中间 logits 物化。
• 多引擎协同：vLLM 支持混合 MegaMoE/TRT-LLM 执行 Muse Spark NVFP4（commit 262eefc9，vllm），同一模型可在 vLLM 与 TRT-LLM 引擎间拆分执行，为异构硬件混布提供新路径。
• 架构收敛：TokenSpeed 移除 DeepSeek V4 支持（commit 1addfa45，tokenspeed），架构收敛为 DSv4.1 单一路径减少维护分支。

大规模 EP 部署的可用性不再依赖人工调参，专家再均衡与故障降级走向运行时自决策，热点专家治理从静态配置走向运行时自适应。

三、低比特量化从推理铺到训练到 KV cache 到昇腾全栈

NVFP4/MXFP4 本周完成了一次从"推理侧单点优化"到"全栈覆盖"的扩展——训练 QAT、推理部署、KV cache 分层、国产算力四线同步推进：

• 推理侧深化：vLLM 优化 MXFP4 激活量化，内核提速 3 倍、吞吐提升 5%（commit f3bdb0e0，vllm），并修复 NVFP4 未初始化 fused act+quant 导致 NaN logits 与乱码输出（commit b42f25b0，vllm）；新增 Qwen3.5-397B-A17B B200 NVFP4 TP2 agentic 预设（PR #64607，vllm）。
• 底层 kernel 覆盖：FlashInfer cake_mega_moe_v3 在 sm_103a 上补齐 DeepSeek V4.1 Flash W4A8 TP4/TP8（commit 10bd87ce，flashinfer）、prims-ts 支持 NVFP4 与 per-tensor FP8 稀疏 MLA 缓存（commit 1259b442，flashinfer）、moe_ep Blackwell MXFP4/MXFP8 标准支持（commit 4e8d3cbc，flashinfer）、Cake alpha round-4 NVFP4/W8A8/融合 router（PR #8158，flashinfer）。
• KV cache 分层：SGLang paged-experts 一次性覆盖 AWQ/compressed-tensors/MXFP4/NVFP4/W8A8/block-INT8 专家（commit 2d3de826，sglang），并将 MXFP8 KV pages 以 payload+scales 对象形式存入 L3 cache（PR #46936，sglang）；TRT-LLM Kimi K3 混合 KV 缓存管理器支持 NVFP4 KV cache（commit c50ea882，trt-llm）、MiniMax-M3 NVFP4 低延迟 decode megakernel（commit f405e10b，trt-llm）。
• 国产算力低比特：vllm-ascend 新增 ModelSlim W4A8 动态 Linear 支持（PR #20469，vllm-ascend），昇腾平台低比特量化推理能力扩展。

4-bit 权重 + 4-bit KV 的组合在多代 Blackwell 上开箱可用，低比特不再是"要不要开"的选项而是平台默认能力，且从训练到推理到位宽语义同源。

四、PD 分离架构走向生产级成熟：可中断 prefill + KV 传输全面免 host sync + 动态准入

PD 分离从"概念验证"走向"生产级"——prefill 可中断 + KV 传输免同步 + 动态准入 + 异构 TP 共享组合成标准部署形态：

• 可中断 prefill：SGLang DCP 支持可中断 prefill CUDA Graph（PR #38943，sglang），PD 分离架构中 prefill 节点可复用编译路径同时支持动态中断，降低首 token 延迟。
• KV 传输全面去同步：SGLang 三处去 host sync——unified-memory 绑定 SWA tail 新页（commit 573649879b，sglang）、pd overlap 下发布 decode KV 目标（commit d51a1e5d9，sglang）、disaggregation decode 传输首次拒绝即停止（commit 566dbd2c，sglang）；vLLM NIXL 每次传输按层配对 KV 区域（commit 8b55f9195，vllm），减少错配与无效拷贝。
• 异构 TP 共享与动态准入：vLLM KV Connector 支持 Mooncake Store 混合 KV 缓存的异构 TP 共享（commit 4d1376a4，vllm），不同 TP 维度实例可共享远端 KV；vLLM DSv4.1 支持 PCP 与 PP 或 DP 组合（commit 2b009fc6，vllm），长上下文部署拓扑更灵活。
• 生命周期一致性：TRT-LLM CTX 失败或取消时同步取消配对的 GEN（commit 5ec25c55d，trt-llm），避免半截请求；attention DP 对 generation-only 请求做 KV-balanced 准入（commit 1ac66826，trt-llm）。

KV 搬运不再阻塞推理主路径，长会话/agent 场景的 decode 流水不再被 KV 传输打断，PD 分离成为支撑超长上下文的标准部署形态。

五、昇腾/国产算力大版本爆发：vllm-ascend v0.30.0 + triton-ascend TLA 前端 + DeepEP 原生集成

国产算力从"能跑模型"走向"有原生编译器前端 + 通信库 + 推测解码"的完整工具链：

• 大版本迭代：vllm-ascend v0.30.0 新增 Qwen3.8 Flash Next、GLM-4.7-Flash 模型支持与多项 NPU 性能优化（Release v0.30.0）。
• 编译器前端：triton-ascend 引入 TLA 语言前端（commit b6dda4fa，triton-ascend），降低昇腾侧高性能自定义 kernel 编写门槛；新增 A6/A5 target 支持（commit f0f69813，triton-ascend）、将 Ascend910_9691 识别为寄存器型目标（commit 52aeb4cd，triton-ascend）。
• 通信库与算子：sgl-kernel-npu A5 集成 DeepEP fused_deep_moe（commit 34576eac，sgl-kernel-npu），昇腾专家并行原生通信库接入；新增 batch-invariant 算子（commit c6ae78db，sgl-kernel-npu），训练-推理对齐基础保障。
• 推理框架铺开：SGLang NPU MoE prefill/decode 新增 Ascend Ops 后端（commit bacf65f8，sglang）、DSpark 在昇腾 950 上运行（commit 72576df8，sglang）；TokenSpeed 昇腾集成原生 DSA 与 MLA attention（commit 421f39d2，tokenspeed）；VeOmni 新增可复用的 GPU→NPU 迁移 skill（commit 97837e65，veomni）。

昇腾侧 MoE/稀疏注意力/推测解码三线同步补齐，国产算力不再只靠"模型适配"而是有了从编译器到通信库到推测解码的完整栈。

趋势参考

• 训练-推理 kernel 同源化：FlashInfer 补齐带 grad autograd 后端 + Megatron 推理侧 refit + NeMo-RL 0 train-gen mismatch，训练与推理不再各写一套 kernel，权重交接从"人工对齐"走向"kernel 级同源"（PR #8157，flashinfer 等）。
• MoE 治理从静态配置走向运行时自适应：DynamicEPLB 热点专家在线复制 + 容错 EP scale-down + EPLB 冗余默认最小化，大规模 EP 部署可用性不再依赖人工调参（commit b6d1a0616f，trt-llm 等）。
• KV 传输全面去 host sync：SGLang 三处去同步 + vLLL NIXL 按层配对，PD 分离的 KV 搬运从"同步阻塞"走向"全异步 + 精准配对"（commit 573649879b，sglang 等）。
• 推测解码 draft 侧低位宽化：vLLM draft FP8 KV cache 每 rank 省 2.85~5.38GB + SGLang DFLASH 调优 dispatch + vLLM Speculator 可插拔配置，draft 显存与算力开销被系统性压缩（commit d15be0856d，vllm 等）。