港科大等视频生成：双噪声掩码让三类基线人评胜率达79%–83%

龙哥导读

实时视频生成正在把几十步扩散压缩成几步，但速度提高后，画面常出现颜色过艳、皮肤和材质过度平滑、长视频越生成越像“塑料片”的问题。港科大等机构提出的掩码强制训练没有换掉基础模型，也没有增加真实视频监督，而是在学生模型自己生成训练轨迹时，把两种噪声状态按随机空间和时间掩码混在一起。它在三条自回归视频蒸馏基线上都获得79%至83%的人类偏好胜率。龙哥觉得，这项工作的真正价值，是用一个很小的训练改动，击中了少步视频蒸馏里“越学越窄”的核心问题。

先想象一个常见场景：我们让模型生成“女孩在雨夜街头转身”，第一次结果不错，第二次换随机种子，人物位置和镜头还是差不多；继续多生成几次，衣服颜色、背景灯光和运动轨迹仍然高度相似。模型似乎学会了一个安全答案，然后反复交卷。

这不是普通的清晰度问题。画面可以很锐利，却缺少真实世界应有的变化；视频也可以每帧都像照片，却没有自然运动。对于广告创意、影视预演、游戏资产、短视频批量生产和实时交互生成，用户需要的不只是“生成成功”，而是同一句提示能够给出足够多、足够真实、足够可挑选的结果。

论文 Figure 1：方法同时用于短视频、长视频和相机控制生成。观察重点是颜色是否自然、纹理是否保留，以及长时间生成后画面是否仍然稳定。

一、为什么视频模型会“只会一种漂亮答案”？

传统视频扩散模型从噪声出发，经过许多轮逐步去噪，慢慢形成主体、背景、运动和细节。它的质量可以很高，但每生成一段视频都要重复大量计算。为了实时生成，研究者通常让一个较小的学生模型模仿大型教师模型，把几十步压缩成很少几步。

这篇论文使用的核心训练方式叫分布匹配蒸馏方法（DMD）。通俗理解，教师模型掌握着一大片合理的视频答案，学生模型则努力让自己的输出靠近教师认可的区域。问题在于，这种目标更擅长把学生推向“最容易得到高分的区域”，却不天然鼓励学生覆盖教师知道的所有可能性。

结果就像一位考生发现某个模板最稳妥，之后无论题目怎样变化，都尽量套用同一套结构。视频中常见的表现包括：颜色越来越饱和，人物皮肤和背景纹理被抹平，不同随机种子的构图趋同，长视频里的动作幅度逐渐收缩。

自回归生成又会放大这个问题。模型不是一次生成整段视频，而是先生成一块，再把前面的内容作为历史条件生成下一块。早期出现的过饱和、错误纹理或保守动作，会进入后续上下文，像滚雪球一样被持续继承。少步蒸馏让每一块生成得更快，自回归链条却让每一次偏差影响得更远。

二、普通自回放为什么会把问题越练越严重？

为了减少训练与推理之间的差异，许多方法会让学生模型在训练时使用自己生成的历史，这叫自回放。它比永远使用教师提供的完美历史更接近真实推理，但也带来一个隐患：学生只会在自己已经能到达的区域里反复练习。

假设教师模型知道十种合理的镜头运动，而学生目前只掌握两种。普通自回放会不断从这两种运动继续生成，再由蒸馏目标把结果修得更像教师。由于训练轨迹很少进入剩下八种模式，学生得到的学习信号仍然围绕自己熟悉的区域。久而久之，它可能把两种动作练得更稳定，却越来越难探索新的动作。

已有修复方案往往需要加入真实视频数据、生成对抗训练、强化学习目标或额外后训练。它们可能有效，却也会增加数据准备、训练稳定性和工程维护成本。Mask Forcing提出的问题更直接：能不能不改原来的蒸馏目标，只把学生自回放的输入稍微扰动，让它主动走到更多教师熟悉、学生尚未覆盖的区域？

论文 Figure 2：左侧普通自回放容易集中到少数模式；右侧把较干净与较嘈杂的状态混合，让学生探索更宽的教师分布，同时用较干净区域帮助较嘈杂区域去噪。

三、核心方法：同一块视频，同时放进两种噪声状态

方法的名字来自“掩码”。在每一个去噪步骤，系统先得到当前噪声状态，再从附近的时间范围里随机选一个噪声更少、画面更干净的状态。随后生成一张随机掩码：一部分位置使用较干净状态，另一部分位置保留原来的较嘈杂状态。

如果把一帧视频看成由很多小块组成，这就像让模型同时面对两种难度：有些小块已经隐约露出人物轮廓和背景结构，有些小块仍被较强噪声覆盖。模型必须利用较清楚区域提供的线索，推断其余区域应该怎样恢复。

“双噪声”并不是把两份互不相关的噪声随意拼起来。两种状态来自同一次预测，并共享同一份随机噪声，只是所处去噪时刻不同。因此，较干净区域和较嘈杂区域仍然描述同一个潜在视频，不会像拼贴两段无关视频那样破坏语义。

掩码同时沿空间和时间变化。空间变化让人物、背景、边缘和纹理可以处在不同噪声水平；时间变化则让不同帧获得不同的清晰线索。相比整段视频统一切换到另一个噪声时刻，这种混合方式制造了更丰富、更细粒度的训练路径。

更重要的是，它没有额外增加网络前向次数。模型原本每一步需要运行一次，加入掩码后仍然运行一次；改变的是输入状态，而不是再串联一个大型修复网络。推理阶段也完全不使用掩码，因此不会给线上生成增加额外步骤。

四、为什么混入“更干净的块”能缓解模式坍缩？

第一重作用是扩大探索范围。学生模型原本只沿着自己的典型轨迹滚动，掩码扰动会把部分状态推向附近但不同的区域。教师模型随后对这些新状态提供修正信号，学生便能接触过去很少访问的生成模式。

第二重作用是提供局部引导。较干净的小块更容易透露主体轮廓、场景布局和运动方向，较嘈杂的小块可以利用这些线索完成恢复。它类似于拼图时先给出几块关键区域：不是直接告诉模型最终答案，而是减少整幅画面同时处于高度不确定状态时的盲目搜索。

第三重作用是抑制误差积累。自回归视频中，一块输出会进入下一块的历史。中间预测越干净，后续读取到的条件越可靠。论文认为，双噪声掩码不仅让学生探索更多模式，也改善了每一轮自回放中的中间结果，从而减少错误沿时间传播。

这里有一个容易误解的地方：方法并不是简单增加噪声。过多噪声会破坏结构，过少噪声又无法扩大探索。真正有效的是在一个有限时间窗口中选择较低噪声状态，并通过掩码控制比例，让“探索新区域”和“保留可用上下文”同时发生。

五、实验不是只测一个模型，而是跨三条基线验证

作者使用同一套Wan2.1视频生成骨干：13亿参数学生模型向140亿参数教师模型学习。训练视频为81帧、832×480分辨率，大约训练1500步，使用8张显卡约14小时。统一骨干很重要，因为它能尽量排除“模型更大”或“数据不同”造成的差异。

实验覆盖三类代表性自回归蒸馏方法。Self Forcing强调让模型在训练中使用自己的历史；Causal Forcing进一步处理因果生成与教师监督的对齐；长视频生成方法（LongLive）面向实时交互式长视频。论文既测试逐块生成，也测试逐帧生成，并额外观察30秒长视频。

在逐块Self Forcing上，加入Mask Forcing后，视觉质量分从10.10升到11.37，指令遵循分从38.50升到45.03，运动动态度从70升到82，综合视频评分从81.89升到82.61。这里最值得注意的是，运动和指令遵循同时改善，而不是只把颜色调得更鲜艳。

在逐帧Causal Forcing上，综合评分从80.64升到82.28，运动动态度从28升到52，几乎翻倍。逐帧生成更容易在长时间滚动中积累错误，因此这组提升说明双噪声扰动不只适用于一次生成较大视频块的模型。

在人类主观比较中，加入该方法的版本相对Self Forcing、Causal Forcing和LongLive，分别获得80%、79%和83%的偏好率。也就是说，在相同提示下进行两两比较，多数观察者认为改进版的视频更好。相对LongLive的30秒长视频，人类偏好率也达到72%。

论文 Figure 3：不同基线加入方法前后的视觉对比。可重点观察人物皮肤、织物、草地、墙面等高频细节，以及是否存在过饱和和“塑料感”。

六、长视频结果更真实，但“更清楚”不等于“动得更多”

30秒长视频是这项工作的关键压力测试。短视频里，一个漂亮开头可能掩盖后续问题；持续生成30秒后，颜色漂移、纹理消失、主体变形和动作收缩会更容易暴露。加入Mask Forcing后，长视频的人类偏好评分和多项自动质量指标继续提高，说明中间状态改善确实能够延缓质量衰减。

但结果并非所有指标都单调上升。LongLive的短视频逐块设置中，动态度从76降到69；30秒实验中，动态度从70降到64。也就是说，更干净、更稳定的引导有时会让画面运动幅度变小。消融实验还显示，掩码太强时动态度可降到44。

这反而让论文更值得认真看。生成模型不存在一个可以无限增大的“质量旋钮”：过强扰动会破坏运动，过弱扰动又覆盖不了更多模式。对产品团队而言，参数不能只在静态审美分上调优，而要同时观察动作幅度、长时一致性、提示遵循和用户偏好。

论文 Figure 4：30秒单提示长视频对比。长视频应连续观察主体身份、背景结构、颜色变化和纹理是否随时间逐渐丢失，而不是只截取第一帧比较。

七、与近期三条路线相比，它到底新在哪里？

第一条相关路线是Causal Forcing。它解决的是如何把双向教师模型的能力蒸馏到因果自回归学生中，并减少训练和推理条件不一致。Mask Forcing不替代它，而是作为训练时的输入扰动插进去，让原有因果蒸馏覆盖更多模式。

第二条是蒸馏对齐方法（DistillAlign）。它同样关注“学生追逐少数高概率答案”和“覆盖教师更多可能性”之间的平衡，但主要从训练目标协调入手。Mask Forcing则尽量保持原目标不变，通过双噪声掩码改变自回放轨迹。一个更像改评分规则，一个更像改练习路径。

第三条是长视频生成方法（LongLive）。它关注实时交互和长视频生成，提供了很有代表性的长时基线。本文在该方法上验证双噪声扰动，说明它能够提高长视频细节和主观质量；同时，动态度下降也提醒我们，长视频稳定性和运动丰富度需要单独平衡。

与我们前面拆解过的“不确定性分布匹配蒸馏”相比，两篇论文都针对少步自回归视频的模式坍缩，但落点不同：前者重点扰动第一块起始状态和历史缓存，解决随机性如何进入并沿时间传播；本文重点在每个自回放去噪步骤混合两种噪声状态，扩大训练轨迹覆盖。它们更像两种互补诊断，而不是谁简单替代谁。

论文 Figure 8：与因果反向一致性方法（Causal-rCM）和蒸馏对齐方法等路线对比。除了单帧美观度，还应检查连续帧的动作是否自然、主体结构是否稳定。

八、把公式翻成大白话：模型到底看到了什么？

论文中的去噪状态可以写成一个很简单的混合：当前干净预测乘以保留系数，再加上随机噪声乘以噪声系数。时间步越靠后，噪声占比越大；越接近最终结果，画面结构越清楚。普通训练在一个时间步上生成整块输入，而本文额外抽取附近一个更干净的时间步。

随后，随机掩码决定每个位置来自哪一种状态。掩码为一的位置使用较干净状态，掩码为零的位置使用原噪声状态。两部分最终组成同一个输入，再送入模型预测。因为两种状态共享同一份基础预测和随机噪声，它们的主体、场景和运动意图仍然一致，差别主要是“线索暴露了多少”。

如果全部位置都换成较干净状态，任务会突然变得太容易，学生可能学不到如何从高噪声恢复；如果全部位置都保持原状态，又回到了普通自回放，探索范围没有扩大。掩码比例因此控制着两种力量：一边给模型可靠线索，一边保留真正需要解决的困难区域。

时间窗口也承担类似作用。窗口太小，两种噪声状态几乎一样，扰动不足；窗口太大，干净块与嘈杂块之间差异过强，模型可能依赖少数清晰区域走捷径，甚至损害运动。论文通过消融寻找有效范围，而不是把扰动强度无限增大。

为什么作者说它不会增加前向次数？因为两种状态先在输入层按照掩码合成，网络看到的仍然是一份张量。与“分别跑两次模型再融合结果”不同，计算主体没有翻倍。训练会增加少量采样和混合操作，但相对于大型视频网络的一次推理，这部分开销较小。

这里还包含一个很重要的训练观念：监督信号不一定只来自最终答案，也可以来自“把学生带到一个更值得学习的位置”。双噪声掩码不直接告诉学生哪种视频最好，而是改变它遇到的中间状态，让原有教师模型有机会在更广区域给出纠正。

九、消融实验告诉我们：空间与时间都不能省

一项方法是否可信，不能只看完整配置比基线高多少，还要看拆掉某个部件后会发生什么。论文分别改变掩码比例、噪声时间窗口和掩码形状，观察视觉质量、指令遵循和动态程度之间的变化。

只沿空间随机，模型能在同一帧中利用局部清晰区域，但不同帧之间的训练难度变化有限；只沿时间随机，不同帧的状态会变化，却缺少帧内细粒度引导。空间和时间同时变化，才更接近真实视频里“有些区域先稳定、有些区域仍不确定”的复杂过程。

掩码太弱时，结果接近普通训练；掩码太强时，模型会过度依赖清晰区域，虽然部分画质分可能继续上升，动态度却明显下降。这说明最佳点不是最大扰动，而是让模型仍然需要解决困难，同时又拥有足够结构线索。

作者还比较了不同噪声窗口。离当前步骤稍近的低噪声状态更稳定，窗口过宽则会让混合输入内部差异过大。对于准备复现的团队，这意味着不能只复制“随机掩码”四个字，必须同时记录时间采样范围、掩码比例、训练阶段和生成粒度。

逐帧和逐块生成的最佳设置也可能不同。逐帧模型每次只向前推进很短时间，对局部误差更敏感；逐块模型一次生成更多帧，内部时序关系更复杂。论文跨两种设置都取得收益，说明原则具备一定普适性，但参数仍不能机械照搬。

十、如果把它用于真实产品，应怎样验收？

第一组测试应当固定提示词，连续更换多个随机种子。不要只选最好的一条，而要统计可用结果比例、构图重复率、动作重复率和失败类型。如果十次生成里只有一次惊艳，其余九次高度雷同，平均审美分很难反映真实创作效率。

第二组测试要拉长时间。分别生成5秒、15秒和30秒内容，检查主体身份、衣着纹理、背景结构、颜色和运动是否逐步衰减。短视频表现好的方法，未必能承受长时间历史条件积累。

第三组测试要按提示类型分桶。人物近景、多人互动、快速运动、相机移动、复杂材质和自然景观，对多样性与稳定性的要求不同。统一平均分可能掩盖某一类场景明显退化，尤其要单独检查手、脸、文字和细长物体。

第四组测试是成本。论文方法不增加推理路径，但最终系统仍受基础模型大小、分辨率、视频长度、显存和并行方式影响。团队应报告单卡和目标硬件上的完整生成时间，而不是只引用论文训练配置或某个局部模块速度。

第五组测试是人与指标是否一致。可以让评审者分别评价真实感、动作自然度、提示遵循、细节和整体偏好，再与自动指标对照。如果某个参数让自动分持续上升，却让用户觉得动作变僵或颜色失真，就不应该作为默认设置。

十一、对做视频生成的人，最值得复用的四个思路

第一，把训练轨迹覆盖率当成独立问题。 学生输出接近教师，并不代表学生覆盖了教师的全部合理答案。除了看平均质量，还应在同一提示下多次采样，观察构图、运动和高层语义是否真的发生变化。

第二，优先寻找不增加推理成本的训练改造。 线上视频生成对延迟非常敏感。训练阶段增加适度复杂度、推理阶段完全保持原路径，往往比增加一个永久运行的修复模型更容易部署。

第三，局部干净信息可以帮助全局恢复。 双噪声掩码的思想不一定只适用于视频蒸馏。图像恢复、视频去噪、遮挡补全和多帧增强都可以研究：让一部分位置获得更可靠线索，是否能引导其他位置稳定恢复。

第四，自动指标必须与人类比较一起看。 颜色更鲜艳可能提高某些审美分，动作更大也可能只是抖动。论文给出三类基线的人评胜率，并展示动态度下降的反例，说明最终判断需要同时结合质量、运动、指令遵循和主观偏好。

十二、开源情况与复现时最容易踩的坑

作者已经公开推理代码、配置和模型权重，可以检查不同基线的生成效果。仓库中能看到推理脚本、配置目录、演示工具和Wan模型相关代码，因此不是只有一个项目页面的“预告式开源”。

但训练代码目前仍标记为待发布。这意味着研究者可以下载权重验证生成，却暂时不能完整复现论文中的训练过程。特别是噪声时间窗口、掩码比例、逐帧与逐块设置、训练步数等细节，对最终质量和动态度都有明显影响。

复现时还要避免把不同来源的收益混在一起。论文使用13亿参数学生、140亿参数教师，训练约1500步；不同基线本身的蒸馏方式也不同。若自己的系统使用另一种视频骨干、更低分辨率或更少显存，应先建立未加入掩码的严格同配置基线，再比较变化。

十三、龙哥的判断：这是一个小改动，但击中了大问题

视频生成走向实时以后，很多竞争会从“能不能生成”转向“同一提示能不能持续产生真实、丰富、可控制的结果”。如果模型每次都交出相似答案，速度再快也难以支撑创意筛选和交互式应用。

Mask Forcing的优点是改动克制：不要求额外真实视频，不新增后训练阶段，不改变推理路径，也不额外增加网络前向次数。它把问题定位到自回放轨迹过窄，再用两种噪声状态和时空掩码制造可控探索。

它的不足也很明确：主要实验围绕Wan2.1骨干和有限提示集展开；相机控制只做了初步测试；训练代码尚未开放；部分长视频设置还出现运动幅度下降。因此，当前更适合把它视为一条值得复现的训练原则，而不是已经适用于所有视频模型的通用答案。

如果后续训练代码完整开放，龙哥最想看到两组补充实验。第一组是在更多视频骨干、不同参数规模和不同分辨率上验证，确认收益不是某个基础模型的特殊现象；第二组是把同一提示连续生成二十次，公开全部结果而不是精选案例，再统计重复构图、运动模式和失败视频比例。只有这样，我们才能判断它提升的是平均观感，还是确实扩大了模型可用的创作空间。

对于普通用户，这项研究也解释了一个常见困惑：为什么某些模型第一次生成很惊艳，多试几次却总是相似。问题不一定出在提示词，也可能是蒸馏后的学生模型只保留了教师最常见的少数答案。未来的视频产品除了展示单条最好样片，还应告诉用户同一提示的多次生成是否真正多样，以及增加多样性会不会牺牲动作稳定性。

真正值得带走的结论是：学生模型缺少多样性时，不一定要继续增加损失函数和后处理模块。先检查它在训练中到底访问了多少种状态，也许只需要改变“它练习时看到了什么”。

说明：本文依据论文官方页面、官方全文、作者项目页、开源仓库和公开模型页整理。文中数值对应论文给出的特定模型、数据、分辨率和评测设置，不代表所有视频生成系统都能获得相同提升。

本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。