Nunchux AI、麻省理工学院、英伟达视频生成低比特注意力:端到端最高提速1.70倍

龙哥导读

视频生成越来越长、分辨率越来越高，注意力却像一条越拉越长的收费高速：矩阵乘法可以换成低比特快车道，但数值误差和高精度softmax仍会堵在中间。VC-Attention最值得看的地方，是它没有只追一个漂亮的内核数字，而是同时处理“值怎么量化”和“概率怎么生成”，最终把一张英伟达5090工作站卡上的整段视频生成速度推到最高1.70倍。

一个很现实的问题是：当视频扩散Transformer已经把一段视频展开成数万甚至十几万个时空令牌，注意力还能不能继续靠“把矩阵乘法降到8比特或4比特”解决？答案没那么简单。矩阵乘法跑快以后，原本藏在流水线里的小步骤会突然变成主角；而量化里少数特别大的值，也会把同一块里绝大多数普通值挤到可表示范围的一小截。

这篇论文抓住的正是两个容易被忽略的尾巴：值张量中的离群令牌决定精度，高精度指数运算决定速度。作者把前者交给值平滑，把后者交给softmax概率直写，再把它们塞回同一条融合内核流水线。看起来只是改了两个局部步骤，实际却牵动了量化误差、硬件吞吐和端到端延迟三本账。

一、为什么低比特矩阵乘法快了，视频生成仍不一定快

标准注意力可以写成三步：先计算查询与键的分数，再用softmax得到概率，最后让概率对值做加权求和。流式注意力方法（FlashAttention）的关键贡献，是按小块流式计算，不把巨大的注意力矩阵完整写回显存。第二代版本进一步改进线程块和线程束之间的分工，减少非矩阵乘法开销，在A100上把硬件利用率显著推高。

后来，低比特注意力开始把前后两次矩阵乘法交给整数或低精度Tensor Core。整数流式注意力（Int-FlashAttention）在Ampere图形处理器上展示了完整8位整数输入的前向架构，并报告相对标准16位浮点和8位浮点路径最高72%的推理提速和82%的量化误差下降。

这项结果证明“整数注意力可以接入流式注意力工作流”，但VC-Attention面对的是另一组部署条件：视频扩散模型、更长的时空序列、更新的Hopper与Blackwell硬件，以及值张量和softmax成为新瓶颈后的问题。

论文图2：左侧标准低比特路径先用32位浮点算指数，再把概率转换成8位浮点精度（E4M3）；值按原令牌顺序分块量化。右侧新方法把相似值令牌聚到一起、减去块均值，并直接写出概率编码。其余在线注意力流程保持不变。

图2最重要的不是模块数量，而是改动位置。它没有重新发明注意力，也没有要求重训四个视频模型，而是在概率进入概率—值乘法之前、值进入量化器之前各动一次手术。这样做的工程好处是：原有流式计算、分块累积和最终归一化仍可复用，部署团队不必把整套推理栈推倒重来。

论文图3的核心实验面板：在Wan2.2上，处理查询—键乘积的离群值后，值量化项仍占输出误差的大头；在B200的8比特流水线上，32位浮点指数与格式转换比两次低比特矩阵乘法更慢，Tensor Core会等待softmax阶段。

论文把输出误差拆成两项：O−Oq=(P−Pq)V+Pq(V−Vq)。第一项来自概率量化，第二项来自值量化。此前围绕查询和键做旋转、平滑和分块缩放，主要压低第一项；但在Wan2.2的分析里，第二项已经占到输出误差的82%。也就是说，继续只打磨查询—键乘积，像是高速公路入口已经扩成十六车道，出口却还只有两条。

速度账也发生了类似反转。前后两次低比特矩阵乘法运行在Tensor Core上，行最大值、指数和概率转换运行在通用计算核心与多功能单元上。对头维度128的8比特注意力，论文分析称：H200上指数运算需要的周期已经能追平两次8位浮点矩阵乘法；B200的Tensor Core更快，而指数单元没有同比翻倍，于是softmax更容易卡住整条流水线。

二、值平滑：不是压住一个离群值，而是给它重新安排邻居

为什么值张量比Q、K更难处理？Q、K的异常值常集中在少数通道，可以通过旋转或减通道均值缓和；值张量的异常更像“令牌级脾气”：这一层可能是某几个时空令牌特别大，换一个注意力头、去噪步或输入，异常通道又变了。对每个令牌做通道旋转，只会重新分配它内部的能量，却不会让这个高能令牌消失。

值平滑方法（V-Smooth）的第一步是在线轻量聚类。它从当前值张量出发，用少量代表维度估计令牌之间的相似性，再把属于同一簇的令牌排成连续区间。目标不是做完美聚类，而是让即将进入同一硬件量化块的128行更像。聚类不必严格均衡，因为排序后只有簇边界附近少数块会混入不同簇；强行平衡虽然还能降低一点误差，却会把分组开销推到不划算的位置。

论文图4的能量面板：同一个值令牌在原顺序、固定空间立方体顺序和按值聚类排序下拥有不同“邻居”。排序后，同块令牌共享成分更强，块均值能够移除更多能量，量化残差更集中。

第二步是块去均值。对第j个值块V′j，先计算均值μj=(1/Bv)V′jᵀ1，再只量化残差Rj=V′j−1μjᵀ。这里Bv=128。直觉很朴素：一群数如果都围绕同一个较大的公共偏置波动，先把公共部分拿走，剩余波动就更小，同样的4比特或8比特刻度能刻得更细。

论文给出的平均结果很有说服力：在100个Wan2.2注意力头、5.91万个块上，块均值在原令牌顺序下平均移除8%的能量，固定空间立方体顺序为12%，按值排序后达到36%。这说明“减均值”本身不是魔法，真正让它有效的是先按值张量重新组织令牌。

第三步更巧：均值不用另跑一次完整高精度概率—值乘法。在线softmax本来就在累计每行概率和rij，V-Smooth把输出更新拆成低比特概率乘低比特残差，再加一个rijμjᵀ的秩一项。均值恢复与原累加器共享缩放，既不需要第二遍扫描V，也不需要额外的大缓冲区。每个块只保存一个16位均值向量，摊到单个值元素约0.125比特。

分组也不是每个去噪步都重做。论文把聚类集中在前四分之一去噪阶段，并跨一个窗口复用置换。长猫视频模型（LongCat-Video）的消融显示：在前四分之一步骤分组，32个提示子集上得到26.4 dB峰值信噪比和351.0秒延迟；同样数量均匀撒到全程，峰值信噪比降到23.8 dB。这里改变的不是分组次数，而是分组发生的位置，说明早期结构形成阶段更值得花这笔计算。

三、概率直写：不再“算完指数再转换”，而是直接写出概率字节

值平滑方法（V-Smooth）解决精度，直接概率编码方法（ExpCast-FP8）瞄准的是数据中心图形处理器上的softmax关键路径。标准做法先对减去行最大值后的分数计算32位浮点指数，再把结果转换成E4M3格式。问题在于：低比特Tensor Core已经把两侧矩阵乘法压得很短，这段指数和转换就像夹在两列高铁之间的一段单线铁路。

论文图5的直接编码面板：传统路径执行32位浮点指数和格式转换；直接概率编码利用E4M3编码与对数值之间的近似仿射关系，用一次融合乘加得到下一次矩阵乘法将读取的字节。

它的关键观察是：在E4M3正规数范围内，一个数值每翻倍，编码会跨过固定数量的字节级刻度。把softmax输入放在以2为底的对数域后，目标概率的E4M3编码可以近似写成线性形式。论文最终使用类似c=round(8z+56+β)的映射，其中z是以2为底的对数分数，β取−0.35，用来平衡直线近似在一个倍增区间内的偏差。

这不是把任意softmax换成一个粗糙查表，而是针对“下一步本来就要把概率存成E4M3并送进低比特概率—值乘法”的路径，直接生成那个目标字节。读成E4M3时不需要额外指令，因为比特位已经是矩阵乘法要消费的格式。论文在20.48万行Wan2.2注意力概率上报告，直接编码与标准E4M3转换之间的总变差平均为1.6%，并用归一化误差界说明误差不会随模型单独调参。

但这部分并非所有硬件都启用。B200和H200的数据中心8比特配置同时使用值平滑与概率直写；专业版6000和5090工作站卡的4比特配置只使用值平滑，因为工作站Blackwell上的softmax不是同样的瓶颈，而4位浮点概率还需要每16个元素计算缩放，概率直写不能把那段缩放开销一起消掉。同一个方法在不同图形处理器上采用不同精度与模块组合，这比一刀切的“全平台4比特”更像真实部署。

四、融合才是成败线：论文不是只画了一个量化框

低比特方案常见的尴尬是：单看矩阵乘法很快，预处理、重排、缩放、读写一加，整条链反而慢。论文在第四代流式注意力与Sage低比特注意力内核基础上原位修改，把聚类后的收集、块均值、缩放、旋转位置编码与量化尽量融合，让中间张量不再往高带宽显存来回搬。

论文图7：在一张B200上，单次Wan2.2 V-Smooth注意力调用从未融合链路逐级加入量化融合、平滑与收集融合、旋转位置编码融合及手写内核优化，时间从42.2毫秒降到4.8毫秒，累计8.74倍。

图7把“工程实现是否认真”直接摊开了。仅把量化器与Hadamard旋转融合，得到1.59倍；再融合均值、收集与旋转位置编码，继续把中间读写压掉；最后用手写内核处理五个准备步骤和分组，整个准备链累计达到8.74倍。一个扩散Transformer前向要调用40次这类注意力，未融合准备工作合计1688毫秒，融合后为193毫秒。

论文还估算V-Smooth新增工作只占注意力时间的3%至4%。这不是说聚类免费，而是它通过早期步骤分组、跨窗口复用置换、把均值恢复塞进现有累加器，避免了每次都支付完整成本。龙哥更看重这一点：如果一个低比特方法必须靠忽略预处理计时才显得快，它就很难进入产品；VC-Attention至少把这笔账放进了端到端时间。

五、四个视频模型、五类图形处理器，1.70倍到底怎么来的

论文评测四个开放权重视频扩散Transformer。Wan2.2文本生成视频模型为720p，LongCat-Video为480p。

另外两个对象是720p的混元视频1.5，以及1344×768的海螺H3视频模型（MiniMax-H3）；后者使用第三方8步加速适配器。

每个模型用影片生成基准的100条提示生成视频，各方法共享提示和随机种子。Wan2.2生成81帧，LongCat-Video为93帧。

混元视频1.5生成121帧，MiniMax-H3生成243帧。四个模型由此覆盖不同分辨率、帧数和去噪配置。

硬件覆盖B200、B300、H200、专业版6000与5090工作站卡。主要效率图用Wan2.2在同卡16位脑浮点第四代流式注意力上归一化：B200注意力内核1.59倍、端到端1.19倍；H200注意力内核1.46倍、端到端1.13倍。

专业版6000注意力内核2.27倍、端到端1.36倍；5090注意力内核3.58倍、端到端1.70倍。B300补充实验中，8位浮点配置的注意力调用为1.47倍。

论文图6：上排是注意力内核延迟，下排是生成一段Wan2.2视频的墙钟时间，均以同卡16位脑浮点的第四代流式注意力（FlashAttention-4）为1.00。虚线左侧为数据中心卡8比特配置，右侧为工作站卡4比特配置。

为什么内核3.58倍，端到端只有1.70倍？因为视频生成还要支付文本编码、去噪网络中其他线性层、归一化、前后处理和解码等成本。注意力只占总时间的一部分，任何单算子的提速都会被阿姆达尔定律“打折”。所以标题用端到端1.70倍，而不是拿更大的3.58倍冒充整机收益，反而更能说明这项工作的部署价值。

精度方面，论文用同模型同随机种子的16位脑浮点输出作为参考，报告峰值信噪比、结构相似度、感知相似度以及两项视频基准维度。8比特值平滑在四个模型所有主表列上领先同精度训练免费基线；加入概率直写会为速度让出0.7至2.1 dB峰值信噪比，但组合内核仍在四个模型上优于第二代低比特注意力模型（SageAttention2）。

4比特值平滑相对第三代低比特注意力模型（SageAttention3）在Wan2.2提升2.9 dB，在LongCat-Video提升3.6 dB，感知相似度误差最多下降41%。

论文图9：同一提示和随机种子下的Wan2.2帧带。三行依次为16位脑浮点参考、SageAttention2八比特和VC-Attention八比特；附录样例中两种低比特结果的峰值信噪比分别为10.88 dB与13.51 dB。

定性图不能替代100条提示的统计，但它能帮助理解“值量化误差”长什么样：问题不只是一帧变糊，还可能沿时间轴改变物体位置、纹理连续性和动作轨迹。对视频生成来说，某一帧多一点噪声尚可修饰，跨帧结构漂移却会被人眼迅速抓住。因此，按同种子16位脑浮点输出衡量保真度虽不是人类偏好的全部，却确实击中了低比特部署最先要守住的一条线。

论文图12：MiniMax-H3在B200上的八比特定性对比，三行分别为16位脑浮点参考、SageAttention2和本文方法；附录样例峰值信噪比分别为参考、20.82 dB与23.04 dB。

六、把它放回FlashAttention演进史，补上的到底是哪一环

第二代流式注意力（FlashAttention-2）解决的是精确注意力如何更好地分工与搬运。它减少非矩阵乘法操作，增加单个注意力头跨线程块并行，并降低线程束之间的共享内存通信。核心目标是在不近似注意力结果的前提下，让高精度路径更接近矩阵乘法峰值。

Int-FlashAttention解决的是整数矩阵乘法如何嵌入在线softmax工作流。它把查询、键和值做成完整8位整数输入，通过量化参数与在线归一化配合，让Ampere上的整数乘法真正服务长序列注意力。这条路线把“能不能整数化”向前推了一步。

VC-Attention补的是低比特乘法已经很快以后，剩余精度和非矩阵瓶颈怎么办。它不把所有误差都归因于查询—键乘积，而是定位到值令牌；也不把softmax当成无法改变的固定税，而是利用目标8位浮点编码结构绕过高精度指数与转换。三篇工作不是简单的“新论文超过旧论文”，而是从内存访问、整数工作流走到值平滑与概率编码，逐层逼近完整部署成本。

还要注意，VC-Attention的速度基线是同卡16位脑浮点第四代流式注意力，而不是第二代版本。相似论文的作用是帮助定位路线，不是混用基线数字。不同硬件、精度、模型和内核版本的倍数不能直接排成排行榜；真正可比的是它们各自解决了哪段流水线，以及实验有没有把前后处理计入。

七、工程价值、适用条件与真正需要谨慎的地方

对部署团队，第一层价值是训练免费。论文的主配置不需要为Wan2.2、LongCat-Video、混元视频1.5和MiniMax-H3分别准备量化训练数据，也不需要重新跑模型级微调。相比依赖特定训练流程的4比特方案，这降低了接入新视频模型的时间和算力门槛。

第二层价值是硬件分流。数据中心卡采用8比特值平滑加概率直写，工作站卡采用4比特值平滑；这提示产品团队不要执着于统一位宽。服务器批量生成看吞吐、软最大值关键路径与稳定性，创作者工作站看显存、单卡延迟与本地成本，最佳配置未必相同。

第三层价值是把“快”拆成可核算的预算链：单个注意力内核、准备链、整段视频墙钟时间分别报告。对做推理优化的人，这比只展示Tensor Core峰值更有用。它也提醒团队，下一步若量化线性层、稀疏注意力或更快解码器继续缩短其他环节，注意力优化在端到端时间中的占比还会重新变化。

需要谨慎的地方集中在三点。其一，评测硬件全部来自英伟达新一代图形处理器，不能直接外推到其他加速器。其二，四个对象都是视频扩散Transformer，语言模型、图像模型或不同注意力形态是否同样受益，需要重新测量值离群结构与softmax瓶颈。其三，主要保真度以同种子16位脑浮点输出为参考，它非常适合测量低比特偏差，却不等于完整的人类偏好、提示遵循和长视频叙事评估。

论文没有在正文给出一个可供本地直接复现全部五类图形处理器结果的统一公开代码入口，而1.70倍结论又依赖英伟达5090工作站卡、完整视频模型、特定内核与生成配置。因此本文把这些速度与质量数字明确作为论文实验结果解读，不把阅读论文或检查素材写成独立复现。要进入生产，还需在目标模型、分辨率、帧数和并发策略上重新跑端到端基准。

八、龙哥点评：真正有价值的优化，必须敢把“大倍数”放回整条链里

龙哥认为，这篇工作最漂亮的地方不是发明了一个更花哨的量化名词，而是两次重新定位瓶颈。第一次，它发现查询—键乘积已经被前人处理得差不多，82%的剩余输出误差落在值量化；第二次，它发现Tensor Core越快，softmax指数反而越像流水线里最慢的人。优化最怕拿着旧地图找新问题，这篇论文至少把地图更新了。

它也体现了一个很现实的系统原则：局部数学技巧只有进入融合内核，才可能变成用户真正感受到的等待时间下降。聚类、排序、均值、格式映射单独看都不神秘，难的是把它们安排到不重复搬运、不额外开缓冲、不拖慢每个去噪步的位置。论文用42.2毫秒到4.8毫秒的准备链消融，把这件事讲得很直白。

当然，最高1.70倍来自英伟达5090工作站卡上的Wan2.2配置，不应被理解成四个模型、五类图形处理器都固定获得1.70倍。数据中心卡端到端是1.13至1.19倍，工作站卡是1.36至1.70倍。这个差异并不削弱论文，反而帮助读者看清：同一算法的价值，最终由硬件瓶颈和整机成本结构共同决定。

九、龙迷三问

第一问：为什么不直接把所有值都做Hadamard旋转？旋转能在通道之间摊平数值，却保持每个令牌的整体范数。值张量的离群问题主要表现为少数高能令牌，而且异常通道会随头、层和步骤变化。值平滑先按令牌相似性重排，再减块均值，针对的是“谁和谁被一起量化”，而不是只改变单个令牌内部的坐标系。

第二问：直接写8位浮点字节会不会把softmax改坏？它确实引入近似，因此组合内核相对只用值平滑会损失0.7至2.1 dB峰值信噪比；但论文报告组合方案仍优于8比特训练免费基线。它不是普遍替代所有高精度softmax，而是服务于下一步本就消费8位浮点概率的低比特注意力路径，并只在softmax真正卡住的数据中心配置启用。

第三问：1.70倍对普通创作者意味着什么？如果目标软件确实采用相近的Wan2.2配置、英伟达5090内核和完整融合实现，单段生成等待可能明显下降；但论文不是现成桌面应用，也没有证明所有视频生成产品都能直接获得同样倍数。对用户最实际的信号是：视频生成优化正在从“减少去噪步数”扩展到注意力内部的位宽、概率和数据布局，单卡生成还有系统级空间。

总结

VC-Attention给出的路线可以压缩成一句话：先把值相近的令牌放到一起，减掉共同均值后再量化；再利用8位浮点编码与对数值的关系，直接生成概率—值乘法要读取的概率字节。前者修精度，后者修吞吐，融合内核负责把两者变成端到端收益。

在Wan2.2与LongCat-Video，以及混元视频1.5与MiniMax-H3上，论文覆盖三类数据中心卡和两类工作站卡，报告注意力内核相对16位脑浮点基线最高3.58倍、整段视频生成最高1.70倍。更重要的是，它没有把所有平台写成同一种配置，也没有拿内核倍数冒充整机倍数。

如果只记住一个启发，可以记住这个：当硬件把主计算越做越快，过去不起眼的误差源、格式转换和数据搬运就会轮流成为新瓶颈。真正成熟的推理优化，不是永远盯着最大的矩阵，而是持续寻找整条链里下一段最慢、最贵、最容易破坏质量的环节。