南京大学与中国电信人工智能研究院视频生成：随机缓存让动态度25.1升至42.4

龙哥导读

视频生成模型越来越快，但快到只剩几步以后，一个容易被忽略的问题冒出来了：换了随机种子，画面却像复制粘贴，人物动作也越来越保守。南京大学、中国电信人工智能研究院与复旦大学提出这套不确定性蒸馏方法，不换网络，也不再加一个庞大模块，只在自回归生成链的两个关键位置重新注入不确定性。结果是，在自回放强制训练设置中，视频动态度从 25.1 提升到 42.4，同时整体画质指标基本保持。龙哥觉得，这篇工作的价值不只是一组分数，而是把“模型为什么失去创造分叉”定位到了可操作的内部状态。

先看一个很具体的问题：同一句“火星日出”，连续换 20 个随机种子，理想情况应该得到不同的云层、光线、镜头节奏和地表运动。可在少步自回归蒸馏模型里，随机数明明变了，视频却常常长得非常像。模型速度上去了，选择却少了。对于广告创意、影视预演、游戏素材和短视频批量生产，这不是小毛病——用户真正需要的往往不是“生成一次”，而是一次提示能给出足够不同、足够可挑的候选。

官方项目页演示：本文方法根据“火星日出”提示生成的视频片段。它展示的是模型生成结果，不是真实拍摄。

把这篇论文放到最近的视频生成路线里看，会更容易理解。此前我们讨论过 Vidu S2 如何把视频生成推进到实时、流式交互：生成速度和连续控制正在快速改善。本文追问的是另一个紧接着出现的问题：当系统为了实时性把扩散过程压缩到很少几步时，原本由随机噪声带来的丰富分支，会不会被蒸馏过程悄悄抹掉？二者不是因果关系，却共同说明视频生成的竞争已经从“能不能生成”转向“能否又快、又稳、还保留选择空间”。

一、速度提上来了，随机种子为什么失灵了？

传统扩散模型像一位耐心的修图师：从满是噪点的画面开始，经过几十步甚至更多步骤，一点点把结构和细节“擦”出来。不同随机噪声相当于不同的起跑位置，因此同一个文字提示可以走向不同结果。分布匹配蒸馏则想把漫长过程压缩成少数几步，让学生模型直接学会老师最终会走到哪里。

麻烦在于，这类蒸馏常带有明显的“择优靠拢”倾向。通俗地说，老师知道一大片合理答案，学生却更愿意抓住最容易得高分的那一小片。图像里，这会表现为不同种子生成相似构图；视频里问题更严重，因为自回归模型不是一次生成整段，而是先生成第一块，再把前面的结果写入历史缓存，作为后续块的条件。

论文把这种现象拆成两层。第一层发生在起点：蒸馏目标让第一块视频趋向少数高概率模式。第二层发生在传播：后续块依赖前面已经生成的内容和缓存，一旦第一块趋同，后面的动作、镜头和场景演化就被锁进相似轨道。第一块负责“选路线”，缓存负责“沿路线一直走”，所以只在输出端增加一点噪声，很难真正恢复全局多样性。

论文 Figure 1：不同随机种子下，普通少步蒸馏结果容易趋同；本文方法保留了更明显的场景和运动差异。图中每一列对应不同种子，比较重点不是单帧谁更漂亮，而是同一提示能否形成真正不同的生成轨迹。

二、关键诊断：坍缩不是平均发生，而是沿时间传播

这篇论文最值得学的地方，是没有把“缺少多样性”当成一个模糊的生成质量问题。作者逐块观察自回归过程后发现，第一块的随机性对整条视频轨迹影响最大。第一块若在人物姿态、镜头位置和运动方向上已经收敛，后续即便继续采样，也只能在一个越来越窄的条件空间里微调。

可以把它想成一列火车。第一节车厢决定进入哪条轨道，后面的车厢通过连接器被依次拉过去。普通做法若只给第六节、第七节车厢一点随机晃动，火车仍然不会换轨。要恢复路线差异，必须同时处理“第一节选哪条轨道”和“连接器是否把过去状态锁得太死”。

论文使用的基础框架包括自回放强制训练与因果强制训练。它们都让模型在训练时逐步接触自己生成的历史，而不是永远依赖完美的真实历史，从而缓解训练和推理条件不一致。但作者指出，自生成历史也可能成为确定性放大器：一旦早期状态缺乏差异，后续缓存会稳定地复制这种缺乏差异。这里的矛盾很有意思——原本用来提高长视频一致性的历史条件，也可能成为多样性流失的通道。

三、第一把钥匙：让首块从不同噪声时刻出发

第一项设计叫“时间步扰动”。扩散模型里的时间步，可以理解为当前画面还剩多少噪声。最大时间步通常对应接近纯噪声的状态，较小时间步则已经带有更多可辨认结构。常见少步蒸馏会让第一块从固定的最大噪声时刻出发，训练久了以后，学生模型容易学出一条稳定但单一的捷径。

这套方法不再把第一块的起点钉死，而是在最大噪声附近随机选择一个稍早的时间步。用符号表示，可以写成 t₀ = T - δ：T 是最大噪声时刻，δ 是随机扰动量。它并不是简单往最终视频上撒噪点，而是改变模型开始解题时所处的内部状态，让相同文字提示有机会从不同方向进入生成轨迹。

这一步为什么要放在第一块？因为第一块承担全局布局、主体初始姿态和早期运动趋势。若到后面才改变时间步，模型已经在历史条件中确定了大部分结构，新增随机性更容易变成局部闪烁，而不是有意义的动作差异。作者的消融实验也支持这一点：去掉首块时间步扰动后，衡量文本条件下跨种子差异的指标从完整方法的 19.5 降到 16.7。

论文 Figure 5：左侧在第一块改变起始时间步，右侧在后续块写入历史缓存前重新加噪。两条路径分别处理“生成轨迹如何分叉”和“分叉如何延续”，课程调度则控制扰动强度逐步增加。

四、第二把钥匙：缓存不要写得过于确定

只让第一块分叉还不够。自回归视频模型会把已经生成的视频块编码进键值缓存，后续生成直接读取这些历史特征。这个缓存越确定，后续内容越容易服从已有轨迹。论文因此提出“随机缓存写入”：在一块视频进入历史缓存之前，先根据随机噪声时刻对它重新加噪，再将这个带有可控不确定性的状态写进去。

其直觉类似于开会记录。如果会议纪要把每个暂定方案都写成不可更改的最终结论，后面的讨论自然只会围绕一条路线展开；如果纪要保留“这里仍有两个合理选择”，后续参与者就能继续探索。随机缓存写入不是让模型遗忘历史，而是避免历史条件过早变成唯一答案。

形式上，可以把干净视频块 x 写成带噪状态 xₜ：xₜ = αₜx + σₜε。其中 αₜ 控制保留多少原视频结构，σₜ 控制加入多少随机噪声，ε 是一次随机采样。随后模型把 xₜ 而不是完全确定的 x 写入历史。关键不在公式复杂，而在位置选得准：噪声进入的是“将影响未来所有块的状态”，不是已经完成的展示画面。

扰动也不能一开始就开到最大。训练早期模型还没有学会基本画面和时序关系，过强噪声会让学习目标漂移。论文使用课程调度，先让模型建立稳定生成能力，再逐渐增加第一块时间步扰动和缓存噪声。它追求的不是“越随机越好”，而是在稳定与分叉之间找到可训练的平衡。

五、三段演示里，真正应该看什么？

项目页把同一提示下的三种结果并排展示：本文方法、普通分布匹配蒸馏，以及加入生成对抗训练的版本。看这类视频时，别只盯着某一帧是否精致。更重要的是主体有没有持续运动、镜头有没有自然推进、不同随机种子是否真的改变了场景演化，而不是只换一点纹理。

官方项目页的普通分布匹配蒸馏对照：同样是模型生成视频。对比重点是运动幅度与轨迹变化，不应把单个短片当成完整统计结果。

官方项目页的分布匹配蒸馏加生成对抗训练对照。生成对抗目标可以改善部分视觉特征，但并不自动解决由首块和历史缓存造成的结构化多样性坍缩。

演示最直观，但论文没有停在“看起来更会动”。实验对 100 个提示分别采样 20 个随机种子，每种方法共生成 2000 段视频。每段 5 秒、每秒 16 帧、分辨率 832×480。这个设置把问题从几个精挑片段扩展到大量同提示多种子比较，更适合判断随机性是否真的回来了。

六、结果怎么读：多样性回来了，画质没有明显塌

先看自回放强制训练。文本条件跨种子多样性指标从 16.4 提升到 19.5，表示同一文字条件下，不同随机种子产生的视频在语义和视觉表征上更有差异；视觉特征多样性指标从 2.6 提升到 3.3，用另一种特征空间继续确认多样性增加；动态度从 25.1 提升到 42.4，说明画面运动明显增强。与此同时，成像质量指标从 72.5 小幅升到 72.8，并没有出现“靠疯狂运动换来糊画面”的明显崩坏。

在因果强制训练上，趋势同样成立：文本条件跨种子多样性指标从 19.8 提升到 22.1，视觉特征多样性指标从 3.6 提升到 4.7，动态度从 31.1 提升到 41.8。这组结果重要在于，它说明方法不是只对一个训练框架有效。作者还在 13 亿参数逐帧模型和 140 亿参数分块模型上观察到多样性收益，证明“扰动首块与缓存”不是绑死在某一种模型规模或生成粒度上。

论文 Figure 8：多组提示和随机种子下的生成结果。纵向观察同一提示的不同样本，可以看到主体动作、镜头关系与场景演化出现更多分叉；横向仍保持文字条件要求的主体与环境。

消融实验则回答“两个部件是不是都需要”。去掉首块时间步扰动，文本条件跨种子多样性指标明显降到 16.7，说明生成起点重新趋同；去掉随机缓存写入，动态度降到 37.0，说明后续运动分叉变弱。两者职责并不相同：前者负责打开路线，后者负责让路线差异继续传下去。

不过，Dynamic Degree 是通过阈值判断运动强弱的指标，本身方差较大；“更会动”也不等于动作一定更符合物理。论文展示的是多样性和动态性的系统改善，不是已经解决视频生成中的所有运动错误。复杂肢体动作、长期因果关系和未来运动规划，仍可能出现不自然。

为什么论文要同时报告三类多样性指标？因为“不同”至少有三层含义。第一层是像素或局部外观不同，例如衣服纹理、云层形状发生变化；第二层是高层语义和构图不同，例如主体位置、背景关系与镜头方向改变；第三层才是时间维度上的运动不同，例如人物选择另一种动作、镜头采用另一条移动路径。只看其中一层，很容易把噪点变化误认为创意变化，也可能把大幅抖动误认为有效运动。

因此，两项特征多样性指标更接近回答“不同种子是否产生了可辨认的内容差异”，动态度更接近回答“视频是否真的动起来”，成像质量指标则检查画面有没有因此明显变差。它们放在一起，才形成较完整的判断链。即便如此，这套指标仍不能替代人类对叙事合理性、动作自然度和提示遵循的评价，尤其不能直接推出商业素材的可用率。

七、和三条相近路线相比，它补上了哪一环？

第一条相近路线是掩码强制训练。它同样关注自回归视频蒸馏里的模式坍缩，通过双噪声掩码滚动，让训练过程同时接触不同噪声状态。它更像是在训练样本与滚动方式上增加变化；本文则把注意力集中到两个状态变量：第一块的起始时间步，以及即将写入历史的缓存内容。前者扩大训练覆盖，后者强调“哪两个位置最能控制整条轨迹”。

第二条路线是因果强制训练。它解决少步自回归扩散如何在训练和推理之间保持因果一致，是本文直接采用和增强的基础框架之一。新方法没有推翻它，而是在这个骨架上补充多样性机制。可以把因果强制训练看成“让火车按真实运行方式训练”，本文方法则进一步让它不总是驶入同一条轨道。

第三条路线是蒸馏对齐。它从优化目标出发，协调覆盖更多模式和追求高概率模式之间的拉扯。本文的角度更工程化：不重新设计一套大目标，而是找到自回归状态中最容易放大坍缩的位置。这篇论文的独特贡献，是把抽象的“模式覆盖不足”落到首块与缓存两个可插拔操作点。

三条路线并非互斥。未来更值得验证的问题，是目标函数协调、训练滚动扰动与状态级随机缓存能否组合，以及组合后会不会让训练不稳定、画面一致性下降或推理成本增加。论文已经证明状态级方法有效，但还没有穷尽这些组合。

八、对产品和工程团队意味着什么？

第一，批量生成系统应该把“候选差异”当成独立指标。 如果十次生成只是同一条视频换了细节，表面吞吐量再高，真正可用的创意数量仍然很低。广告、电商素材和影视预演需要衡量同提示多次采样能产生多少有意义的动作、构图与镜头差异，而不能只看单条最佳样本。

第二，缓存策略会改变内容分布，不只是影响速度。 工程团队通常把键值缓存当成推理加速工具，但在自回归生成里，缓存也是模型状态的一部分。写入什么、以多确定的形式写入，会影响后续内容能否分叉。以后评估缓存压缩、量化或复用方案时，除了延迟和显存，还应观察多样性与长期运动。

第三，随机性要进入正确位置，而不是简单调高温度。 输出端随机采样常常只能改变局部纹理，甚至带来闪烁。论文显示，更有效的做法是找到决定未来轨迹的状态，并在训练与推理一致的机制里控制其不确定性。这一判断也可能启发音频、动作生成和长序列智能体：真正决定多样性的，往往是早期分叉与持久记忆。

如果团队准备把这一思路接入现有系统，至少应先建立四组对照。第一组固定提示、改变种子，观察候选是否真正分叉；第二组固定种子、改变扰动强度，确认可控性是否连续；第三组分别关闭首块扰动和缓存扰动，判断当前模型到底卡在哪一环；第四组让人工评审同时给“差异是否有意义”和“动作是否自然”打分。只有这样，才能避免指标上涨了，用户却只是看到更多抖动或更多不稳定版本。

部署时还要关注两个成本。其一，重新加噪会改变缓存分布，现有的缓存量化、压缩与跨请求复用策略可能需要重新校准；其二，候选变得更多以后，后端排序和筛选能力必须跟上，否则只是把选择压力从模型转移给用户。对创作产品来说，理想链路不是无限生成，而是“生成足够不同的候选，再快速选出最符合意图的几个”。

对研究团队而言，还应把随机种子管理纳入实验协议。若不同方法使用的种子数量、提示集合或筛选规则不同，多样性对比很容易失真。更稳妥的做法是预先固定提示与种子，完整保留失败样本，并分别报告平均表现、最差表现和候选覆盖率。这样才能判断方法是在扩大有效解空间，还是仅仅增加了偶然变化。

对普通创作者而言，这项研究还提示了一种更实际的使用方式：先用较低成本生成一组差异明确的草案，再对选中的少数结果做高质量增强，而不是一开始就把全部预算押在单条视频上。模型负责扩展选择，人负责确定目标，两者分工清楚，往往比追求一次命中更可靠。

九、还需要冷静看的三件事

第一是训练成本。论文默认训练使用 32 张 H100、600 个训练步。虽然方法本身不增加新网络，也没有额外教师或判别器，但验证和迁移到新的基础模型并不便宜。对于小团队，更现实的路径可能是等待作者代码或在已有蒸馏训练中做小规模状态扰动实验，而不是从头复现全部设置。

第二是指标与真实体验之间仍有距离。跨种子特征差异更大，可能意味着更丰富，也可能包含不稳定变化；动态度更高，可能意味着动作更充分，也可能带来无意义抖动。论文通过画质、语义和动态指标共同观察，已经比只报一个分数扎实，但真正面向产品，还需要人工偏好、可控性和失败率评测。

第三是长期规划。作者明确指出，当前自回归生成仍缺少对未来运动的规划。随机缓存可以让路径分叉，却不能保证每条路径都合理。如果人物下一秒应该接住球，模型需要理解未来目标，而不只是让手臂“动得更多”。因此，这项工作解决的是多样性坍缩，不是完整的视频世界建模。

十、龙哥点评：生成模型真正稀缺的是“有效选择”

龙哥很喜欢这篇论文的诊断方式。它没有把“多样性差”归结为模型不够大、数据不够多，也没有再堆一个复杂模块，而是沿着生成链追问：随机性在哪一步消失？哪一个状态会把这种消失传到未来？答案落到首块和缓存以后，解决办法反而很克制。

从产品角度看，生成系统的价值不是每秒吐出多少文件，而是每单位时间能给用户多少真正不同且可用的选择。如果 20 个种子只得到 20 个近似版本，算力花了，人的筛选时间也花了，却没有形成创意空间。本文把这个容易被平均质量掩盖的问题摆到了台面上。

更长远的启发，是不要把确定性天然等同于可靠。对分类、计费和权限判断，确定性往往很重要；对创意生成、策略搜索和世界模拟，过早确定反而会让系统失去探索能力。工程设计真正困难的地方，是决定哪些状态必须稳定，哪些状态应该保留受控的不确定性。

这里还有一个容易被忽略的产品问题：用户通常不会直接要求“把多样性提高 30%”，他们会说“再来一个不一样的”“动作大胆一点”“镜头别总从同一个方向走”。如果系统内部没有保留分叉能力，产品层再丰富的提示词模板，也可能只是围绕同一种结果打转。反过来，模型能产生差异也不代表体验自然，界面还需要帮助用户固定角色、保留满意片段、只重生成不满意的时间段。模型层负责打开可能性，交互层负责把可能性变成可控选择，这两部分缺一不可。

因此，真正面向生产的评测还应加入重复生成成本、用户挑选时间和局部重生成成功率。只有当新增差异能减少反复改提示、缩短挑片时间，并且不会显著增加失败视频，所谓多样性提升才真正转化为生产效率。

十一、龙迷三问

第一问：多样性增加以后，用户真的更容易挑到好视频吗？ 论文证明跨种子差异和运动幅度增加，下一步还应测“前 N 个候选中至少一个满足用户意图”的概率。这比单纯比较平均分更接近真实创作流程。

第二问：随机缓存能否变成可控缓存？ 当前方法通过噪声时刻控制不确定性。未来如果能把动作方向、镜头语言、角色行为或物理约束写成可解释的缓存控制量，模型或许不只是“更不一样”，而是能按用户需要分叉。

第三问：这套思路能否迁移到视频之外？ 长音频、机器人动作和多轮智能体同样存在“早期选择被历史状态持续放大”的结构。迁移并不会自动成立，但“检查第一步与持久记忆是否过早确定”是一个值得带到其他系统里的研究问题。

十二、总结

这套不确定性蒸馏方法处理的是一个会随着视频生成加速而越来越突出的矛盾：蒸馏让模型跑得更快，却可能把随机种子带来的创意分支一起压掉。论文通过首块时间步扰动重新打开生成路线，再用随机缓存写入让差异沿自回归过程继续传播。

更重要的是，这种分析方式给出了一个可复用的排查顺序：先确认随机输入是否真的影响第一个决定，再检查历史状态是否把后续空间压窄，最后区分“看起来不同”和“行为上真正分叉”。面对任何长序列生成系统，这三步都比盲目增大采样温度、反复换提示词或单纯堆算力更接近问题根源。

它的结果很明确：在两种主流自回归蒸馏框架中，多样性和动态性均明显提升，画质整体保持；它的限制也同样明确：训练仍依赖大量高端显卡，动态指标不能替代真实用户评测，长期运动规划仍未解决。这不是“视频生成已经解决”的故事，而是一次对生成系统内部不确定性管理的精准修补。

当视频模型进入实时生成阶段，下一轮竞争不会只看速度和单帧质量。谁能让用户稳定获得更多不同、合理、可控的候选，谁才更接近真正可用的创作工具。对研究者而言，这篇论文给出的最好提醒是：不要只在输出端统计多样性，还要回到状态传播链，找到多样性究竟在哪里被关掉了。

速度决定能不能用，多样性决定值不值得反复用。