← 返回 PaperDaily
视觉与图像
腾讯+中山大学新作：视频生成提速2.11×，靠的是RLB和SASA
视频生成最贵的地方，不是模型不会画，而是算力先被注意力“拖死”了。FVAttn的思路很实在：先把多卡负载不均修掉，再把空出来的等待时间塞回高价值计算里，属于工程味很浓、也很能打的一类工作。
龙哥读论文
阅读 4
查看原文
原论文信息如下：
AI视频生成的阿喀琉斯之踵：动态稀疏注意力下的分布式负载不均
视频生成模型最烦人的地方，往往不是“不会生成”，而是“生成得太慢”。尤其是视频扩散 transformer 这类模型，时间维度一拉长，token 数量就像滚雪球，注意力计算直接变成整条推理链路里最贵的那一段。论文里给出的现实场景很直白：在 8 卡环境下，某些 4 步蒸馏的视频生成任务里，注意力已经占到推理时间的大头，单卡跑长视频更是慢到让人怀疑人生。以 Wan2.1 这类视频 DiT 模型为例，其核心架构在时间维度上对每一帧都进行密集的注意力计算，当生成 81 帧甚至更长的视频时，token 总数轻松突破数万甚至数十万，导致自注意力机制的复杂度呈二次方增长。这种计算开销在单卡上已经难以承受，而在多卡分布式推理中，问题变得更加复杂：不仅需要计算，还需要频繁的通信和同步。
于是，训练无关的稀疏注意力成了一个很自然的思路：既然并不是每个查询都需要看完所有 key，那就少算一点。这里面最有意思的是 Top-p 路由，也就是保留累计重要性达到阈值 p 的最小块集合。它比固定 Top-k 更灵活，注意力分布集中时少算，分布发散时多算，理论上更贴近“该省就省、该花就花”。具体来说，Top-p 路由首先将 key/value 序列划分为固定大小的块（例如 32 或 64 个 token 一块），然后对每个查询，计算其与所有块的注意力重要性分数（通常基于查询与块内 key 的注意力权重之和或最大值）。接着，将这些块按重要性降序排列，并依次选取，直到累计重要性达到预设的阈值 p（例如 0.90）。这样，每个查询实际关注的块数就是动态的，取决于注意力分布的集中程度。在视频生成中，不同帧、不同区域（如前景运动物体与静态背景）的注意力分布差异巨大，Top-p 路由能够自适应地分配计算资源，这正是其优势所在。
问题也就出在这里：自适应这件事在算法里是优点，在多卡并行里却可能变成坑。不同头、不同 query 区域保留的块数不一样，最后会在 GPU 之间形成明显的工作量不均衡。某些 rank 任务很重，某些 rank 早早做完只能干等，结果稀疏省下来的计算，部分又被同步等待吃回去了。论文把这类问题说得很形象：稀疏注意力在分布式环境里，可能从“算得少”变成“等得多”。这种负载不均的根源在于，现代视频生成模型通常采用序列并行（Sequence Parallelism）或类似 Ulysses 的并行策略，将序列维度切分到不同 GPU 上。每个 GPU 负责处理一部分查询，但每个查询的稀疏模式（即需要关注的 key 块集合）是独立决定的。因此，即使总计算量减少了，但不同 GPU 上需要计算的块数可能相差悬殊，导致严重的“木桶效应”——整体推理速度受限于最慢的那个 GPU。
FVAttn 的切入点就很工程：不去赌“提前猜对未来负载”，而是等当前层的稀疏模式真正出来以后，再做修补。这个思路特别适合少步数视频生成，因为相邻步之间的工作量波动很大，论文里甚至给出过接近 97% 的头级变化幅度。换句话说，上一帧看着很规整，下一帧就可能突然“炸锅”，靠历史信息做预排布并不稳。这种剧烈波动源于视频内容的动态性：前一帧可能是一个静态场景，所有注意力头都只需要关注少量关键区域；后一帧可能突然出现快速运动或场景切换，导致某些注意力头需要关注大量分散的区域。任何基于历史信息的负载预测方法，在这种高波动场景下都会失效。
因此，FVAttn 的核心不是单纯再发明一种稀疏模式，而是把稀疏注意力当成一个“先算出真实负载，再现场调度”的系统问题。这个判断很关键，也很少见：它没有把希望寄托在某个神奇路由器上，而是承认分布式执行才是真正的瓶颈。这种“运行时”视角的转变，使得 FVAttn 能够直接面对并解决实际部署中的核心矛盾，而不是在算法层面绕圈子。
FVAttn的“组合拳”：运行时负载均衡 (RLB) + 松弛感知稀疏增强 (SASA)
FVAttn 不是一个单点技巧，而是两步组合拳。第一步叫 RLB，英文全称是 Runtime Load Balancing，中文就是运行时负载均衡。第二步叫 SASA，英文全称是 Slack-Aware Sparse Augmentation，中文可理解为松弛感知稀疏增强。一个负责把“最慢的那条链路”修掉，另一个负责把“空着的等待时间”重新利用起来。这两步并非简单的顺序执行，而是紧密耦合、相互增益的。RLB 通过减少负载不均，为 SASA 创造了更稳定、更可预测的松弛时间窗口；而 SASA 则利用这些窗口，在不增加端到端延迟的前提下，提升了模型生成质量。
这套设计最聪明的地方，是它不改变稀疏注意力的本体计算，而是围绕“如何把它在多卡上跑顺”做文章。也就是说，FVAttn 关心的不是“算什么”，而是“谁来算、什么时候算、有没有闲时可以顺手多算一点”。这种思路听起来朴素，落地时却非常值钱，因为大模型工程里最贵的往往不是一行新公式，而是把系统跑稳的那几厘米。它避免了重新设计稀疏算法可能带来的训练成本、收敛困难等问题，直接作用于现有推理系统的性能瓶颈，是一种高效的“系统级”优化。
RLB：不搞全局重洗，只做P2P“微创手术”，修复临界路径
先看 RLB。它的核心逻辑很直接：当前层的稀疏 mask 已经出来了，真实工作量也已经暴露了，那就别再拿猜测去赌未来，直接根据当前负载做修复。论文里把这一层叫“运行时”，不是摆设，而是整个方法成立的前提。RLB 的工作流程可以概括为：首先，在每个 rank 上，根据其本地所有注意力头的稀疏 mask，计算出每个头需要计算的块数，从而得到每个头的“负载”。然后，通过一个轻量级的 All-to-All 通信，收集所有 rank 上所有头的负载信息。接着，在 CPU 或一个专门的 GPU rank 上运行一个贪心调度算法，该算法的目标是：在最小化通信开销的前提下，将负载过重的 rank 上的“重头”迁移到负载较轻的 rank 上。
RLB 的调度单位是 head，不是更细的 token，也不是粗暴地重排整个序列。原因也很现实：head 级别足够细，能抓住主要不均衡；同时又足够粗，不至于通信和调度开销大到把优化收益全吃掉。论文采用的是 P2P，也就是 peer-to-peer，点对点通信，只迁移少量重头，避免全局重洗牌。具体来说，贪心算法会找出当前负载最重的 rank（发送方）和最轻的 rank（接收方），然后从发送方选择一个负载最重的头，将其迁移到接收方。这个过程会重复进行，直到负载不均衡因子降低到预设的阈值以下，或者迁移的头数达到预算上限。每次迁移只涉及一对 GPU 之间的点对点通信，开销远小于全局 All-to-All 重排。
这里有个很重要的工程判断：不追求理论上的全局最优，而追求“在通信预算很小的前提下，把最慢的 rank 拉回来”。这听起来不够学术，实际上很像真正能上线的系统做法。因为分布式推理里，最怕的不是少优化 2%，而是为了那 2% 把系统复杂度翻倍。全局最优的负载均衡通常需要复杂的整数规划或网络流算法，其求解时间可能远超优化带来的收益。而 RLB 采用的贪心策略，虽然可能无法达到理论最优，但其计算开销极低，且能快速收敛到工程上可接受的良好解。
论文给出的结果也很有说服力：在 8 卡设置里，每个 rank 最多只迁移大约 20% 的本地 head，也就是大约 1 个 head，平均负载不均衡因子就能从 1.34 降到 1.08。这个幅度不算玄学，属于“花很小代价，把最明显的堵点疏通了”。更妙的是，它没有去动稀疏注意力本身的语义，只是在执行层面调了位置，所以对输出质量的破坏相对可控。因为迁移的是整个注意力头，其内部的计算逻辑和稀疏模式完全不变，只是换了一个 GPU 执行，因此不会引入任何额外的近似误差。
如果把分布式注意力比作一条流水线，RLB 做的事情就是：别让某个工位的人手里堆满活，其他工位的人盯着天花板发呆。它不是重新建厂，而是现场把最堵的那几件活挪一挪。听着不浪漫，但很有效。🤨
SASA：化“闲”为“宝”，把等待时间变成高质量计算
RLB 修掉的是“最慢的那根木板”，但系统里通常还会剩下一些零碎的空档。FVAttn 没把这些空档浪费掉，而是继续往里塞更多高价值块，这就是 SASA 的作用。它的本质不是“再加一层稀疏”，而是只在不影响整体时延的前提下，补充更多有用的注意力块。SASA 的核心理念是：在分布式同步屏障之前，计算较快的 GPU 会有一段空闲时间（即松弛时间）。与其让这些 GPU 空转等待，不如利用这段时间去计算一些原本被稀疏 mask 丢弃的、但可能对生成质量有贡献的注意力块。
这里的关键词是 slack，中文就是“松弛时间”或者“余量”。如果某个 rank 在同步点之前还有空闲窗口，那就说明它还有可用算力。SASA 的策略是：只在这些有余量的 rank 上追加高价值块，而且追加量受控，不去碰全局阈值。这样就避免了一个常见错误——为了提升质量，把所有 rank 的计算量一起抬高，最后反而把临界路径拉长。SASA 的具体实现是：在 RLB 完成头迁移后，每个 rank 都知道自己需要计算的块数，以及所有 rank 中最大的块数（即临界路径长度）。通过比较，每个 rank 可以计算出自己的松弛时间。然后，SASA 会从该 rank 上所有注意力头的“候选块”列表中（即那些在 Top-p 路由中未被选中，但重要性分数较高的块），挑选出优先级最高的块，并将其加入到计算任务中。追加的块数由松弛时间决定，确保追加后的总计算时间不会超过临界路径。
SASA 的另一个优点是它不需要重新计算复杂的相似度，也不需要额外训练。它直接复用路由阶段已经排好的块重要性顺序，然后从中挑出还没选中的高价值块。也就是说，路由负责“先选谁”，SASA 负责“还有空位时再补谁”。这个逻辑特别顺，像是把原本会白白浪费的同步等待时间，重新换成了真实有效的计算。由于候选块的重要性分数已经在路由阶段计算完毕，SASA 的额外开销几乎可以忽略不计，只需要进行一次简单的排序和选择操作。
当然，SASA 不是“无限加料”。如果补得太多，新的最慢 rank 就会被制造出来，系统反而更慢。所以论文里专门设计了触发阈值和增广系数，控制每个 rank 的补充预算，让它始终待在自己的 slack 里。这一点很像做饭：火候够了可以多焖两分钟，火候不够还硬加菜，那就只能得到一锅灾难。论文通过实验确定了合理的增广系数，确保追加的计算量不会使任何 rank 成为新的瓶颈，从而在保证推理速度不变的前提下，最大化质量提升。
实验效果：速度与质量兼得，Pareto前沿的全面超越
FVAttn 的实验设计比较扎实，没走“只挑一个最漂亮场景”的老路。它在 Wan2.2 I2V、Wan2.2 Animate、Wan2.1 T2V 三类视频任务上都做了验证，而且都放在 4 步蒸馏的少步推理环境里，这正好对应论文想解决的真实痛点：少步数下，单步注意力依旧很贵。Wan2.2 I2V 是图生视频任务，Wan2.2 Animate 是动画生成任务，Wan2.1 T2V 是文生视频任务，覆盖了视频生成的主要应用场景。所有实验均在 8 张 NVIDIA A100 GPU 上进行，使用 Ulysses 风格的序列并行策略。
评估指标也比较完整：一方面看视频质量，比如 VBench、PSNR、SSIM、LPIPS、CLIP 相似度；另一方面看效率，比如 DiT latency 和加速比。这样做的好处是不会只看“跑得快不快”，也不会只看“画得像不像”，而是直接看质量—效率的综合折中。这才是工程上真正有意义的结果。VBench 是一个综合性的视频生成评估基准，包含多个维度（如动态质量、语义一致性等）。PSNR、SSIM、LPIPS 是衡量图像/视频重建质量的经典指标。CLIP 相似度则用于评估生成内容与文本提示的语义对齐程度。
从结果看，FVAttn 的优势不是某一个点特别猛，而是整体 Pareto 前沿更好。这句话翻成大白话就是：同样的质量下，它更快；同样的速度下，它更稳。对于视频生成这种既要画面、又要时延、还要多卡部署的场景，这种“全局都不难看”的方法，反而比单点极限更有价值。通过在多个任务和指标上绘制速度-质量散点图，可以清晰地看到 FVAttn 的数据点构成的 Pareto 前沿，始终位于其他方法（如 FlashAttention、SageAttention、SpargeAttention 等）的左上侧，表明其在速度和质量的综合权衡上具有明显优势。
在对比方法里，FVAttn 也没有只和“容易赢”的对象比。它和 FlashAttention、SageAttention、SpargeAttention、SVG2、Jenga 以及 db-SP 等方法都做了比较。结果显示，单纯稀疏不一定最快，单纯量化也不一定最适合视频生成；真正有效的是把稀疏、调度和运行时重叠一起做完整。FlashAttention 和 SageAttention 是高效的密集注意力实现，但在长序列下仍受限于二次复杂度。SpargeAttention 和 SVG2 是静态稀疏方法，无法适应动态负载。Jenga 和 db-SP 是负载均衡方法，但要么是静态的，要么需要全局重排。FVAttn 在几乎所有对比场景下都取得了最优或接近最优的速度-质量权衡。
更关键的是，FVAttn 的额外开销被控制得比较好。论文通过 CPU-GPU 重叠、通信与计算重叠，把调度、迁移和增广的可见成本压了下去。也就是说，它不是“多做一堆事情换来一点点速度”，而是尽量把这些事情藏在原本就要发生的计算窗口里。这个做法很像高手做家务：活没少干，但看起来没怎么占地方。例如，RLB 的调度计算在 CPU 上异步执行，与 GPU 上的 mask 生成计算完全重叠。头迁移的 P2P 通信可以与后续的块稀疏注意力计算的部分阶段进行流水线重叠。
总结：一个优雅且高效的分布式稀疏注意力解决方案
FVAttn 最值得肯定的地方，不是又发明了一个稀疏模式，而是把一个常被忽略的问题讲透了：动态稀疏注意力一旦进入多卡推理，瓶颈往往从“算力”转移成“负载不均”。这件事如果不先解决，前面省下来的 FLOPs 很可能只是纸面收益。FVAttn 的工作提醒我们，在大模型时代，系统工程的优化往往比算法创新更具实际价值，尤其是在推理部署环节。
它的路线也很清楚：先通过 Top-p 路由保留质量，再通过 RLB 修复临界路径，最后用 SASA 把残余 slack 变成额外有效计算。三步连起来，既没有把系统搞得太复杂，又把“省下来的时间”尽量吃干榨净。对于视频生成这种对质量和时延都敏感的任务，这种方法比单纯追求更激进的稀疏率更靠谱。它提供了一种可复用的系统设计范式：先诊断并解决分布式执行中的关键瓶颈（负载不均），再利用系统空闲资源（松弛时间）来弥补算法层面的近似损失（稀疏带来的质量下降）。
当然，它也不是银弹。FVAttn 仍然依赖特定的并行范式和运行时条件，迁移预算、触发阈值、通信拓扑都需要根据硬件和模型重新调。换句话说，它很像一套工程上很能打的配方，但不是拿到任何厨房都能原样复刻的魔法药水。😏 例如，在采用 Ring Attention 或 Tensor Parallelism 等其他并行策略的系统中，FVAttn 的组件（特别是 RLB 的头迁移机制）可能需要进行适配和调整。此外，其性能收益高度依赖于 GPU 间的通信带宽和延迟，在互联较差的硬件上，P2P 迁移的开销可能会抵消其带来的负载均衡收益。
龙迷三问
这篇论文到底解决了什么问题？解决的是“稀疏注意力在多卡视频生成里不够均衡”这个系统问题。不是稀疏本身没用，而是自适应稀疏会让不同 GPU 的工作量差很多，最后把加速收益吃掉一部分。FVAttn 通过 RLB 和 SASA 两个运行时组件，在不改变稀疏算法本身的前提下，系统性地解决了负载不均问题，并利用空闲时间提升了生成质量。
RLB 和 SASA 分别是什么意思？RLB 是 Runtime Load Balancing，中文是运行时负载均衡，负责在 mask 真正出来后做点对点头迁移；SASA 是 Slack-Aware Sparse Augmentation，中文是松弛感知稀疏增强，负责把剩余等待时间再利用起来，补更多高价值块。RLB 解决的是“效率”问题，SASA 解决的是“质量”问题，两者相辅相成。
为什么不直接把 Top-p 调得更大一点？因为全局提高 Top-p 会让所有 rank 的计算量一起上升，可能把临界路径拉长。SASA 更聪明的地方在于只给“有空闲”的 rank 加料，尽量不增加整体时延，这才是真正的按需花钱。全局提高 Top-p 是一种“一刀切”的粗放策略，而 SASA 是一种精细化的、感知系统状态的智能策略。
如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~
龙哥点评
论文创新性分数：★★★★☆ 动态稀疏注意力本身不新，但把“运行时负载均衡 + slack 再利用”合在一起，且明确针对多卡视频推理的 straggler 问题，思路是新鲜的。
实验合理度：★★★★☆ 对比方法覆盖了稀疏、量化、负载均衡多个方向，指标也兼顾质量和速度，整体比较像一篇认真做系统的论文。
学术研究价值：★★★★☆ 它抓住了视频生成里一个真实且常被忽视的系统瓶颈，对后续分布式稀疏推理有参考价值。
稳定性：★★★☆☆ 方法依赖运行时负载观测和通信条件，能用，但不是那种“拿来即插即用”的极稳方案。
适应性以及泛化能力：★★★☆☆ 在相近的视频 DiT 和 Ulysses 式并行场景里更有优势，换到别的并行范式还得重新调参。
硬件需求及成本：★★★☆☆ 需要多卡和较好的互联环境才能把重叠和点对点迁移的收益吃满，单卡价值有限。
复现难度：★★★☆☆ 训练无关部分理论上好复现，但运行时调度、通信重叠和系统细节会拉高工程门槛。
产品化成熟度：★★★☆☆ 在视频生成推理服务里有落地潜力，但要先验证不同模型、不同 GPU 拓扑下的稳定性。
可能的问题：方法很聪明，但阈值和通信预算依赖环境，跨硬件迁移时需要重新校准，离“一套参数打天下”还有距离。
主要参考文献
Hao Liu, Chenghuan Huang, Ye Huang, Zhiying Wen, Hao Liu, Mohan Zhang, Chen Li, Ziyang Ma, Jing Lyu, Jiangsu Du. FVAttn: Adaptive Sparse Attention with Runtime Load Balancing for Video Generation. arXiv:2607.16190v1, 2026.
FlashAttention, SageAttention, SpargeAttention, SVG2, Jenga, db-SP 等相关工作见论文正文引用。
*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～ 想了解更多原文细节的小伙伴，可以点击"阅读原文"，查看更多原论文细节哦！
欢迎加入龙哥读论文粉丝群，
扫描下方二维码或者添加龙哥助手微信号加群：kangjinlonghelper。
一定要备注：研究方向+地点+学校/公司+昵称（如 图像处理+上海+清华+龙哥），根据格式备注，可更快被通过且邀请进群。
『龙哥读论文』微信群目前包含：图像处理、大模型及智能体、自动驾驶及机器人、AI医疗及AI金融5个群
