伯克利与Impossible视频生成：14.3秒视频6.70秒去噪

龙哥导读

视频生成最近有一个很现实的矛盾：画面越长、分辨率越高，模型需要比较的画面细节越多，速度就越慢。伯克利与Impossible团队没有简单删掉注意力，而是把它分成两种：近处继续精细比较，远处压成可持续更新的记忆。最终，14.3秒、768p视频的核心去噪过程，在8张B200显卡上缩短到6.70秒。

官方Demo：模型根据文字提示生成约14秒视频。画面属于生成结果，不是真实拍摄；这里主要观察长时间主体、场景与运动是否保持连续。

问题来了：如果把一段视频中的每个画面小块，都与其他所有小块逐一比较，计算量会随着视频长度迅速膨胀；如果把这些比较全部压缩成一小块记忆，速度是快了，但人物身份、场景布局和远距离动作又容易丢失。Video DeltaNet真正想解决的，是“怎样少算很多，同时别把视频最重要的连续性算没了”。

图1：上方比较同一提示下的生成画面，下方展示注意力计算随视频变长的变化，以及混合注意力、少步蒸馏和多卡部署带来的累计加速。

一、视频为什么比图片难算这么多？

一张图片可以被切成许多小块，模型要理解人物、物体和背景之间的关系，就会让这些小块互相“看一眼”。视频不仅有一张图，而是几百帧连续画面；每帧又包含大量空间小块。画面一长，互相比较的组合数量会快速增长。

论文以MiniMax H3的视频扩散骨干为例。在作者分析的工作负载中，传统Softmax注意力占去噪网络运行时间的85%以上。这里的Softmax注意力，可以先理解为一张不断扩大的关系表：模型为每个查询位置，计算它与所有可见位置的匹配程度。

它的优点是细。人物的眼睛、衣服纹理、附近动作，都可以直接找到对应的历史位置。缺点也很明显：视频长度增加一倍，需要比较的关系远不止增加一倍。对于直播式生成，这意味着用户已经等了半天，模型可能还没把下一段画面算完。

线性注意力提供另一条路。它不保留全部历史位置，而是把过去压缩进固定大小的状态，再让当前画面从这份状态读取信息。计算量更接近随视频长度线性增长，但压缩必然损失细节。直接替换后，人物身份、场景结构和长距离运动关系可能越来越不稳定。

二、第一刀：近处精看，远处记住

Video DeltaNet没有在两种注意力之间二选一，而是按时间距离分工。相邻画面包含纹理、边缘和短时间运动，最怕被压缩，所以继续使用精细的Softmax注意力；距离较远的画面主要提供人物身份、场景布局和长期动作线索，则交给线性记忆。

局部窗口并不是随便截几帧。MiniMax H3的视频编码器会把连续5个潜在帧视为一个时间块，论文让每个查询块查看自己、前一个块和后一个块，相当于通常覆盖15个潜在帧。这样，窗口边界不会粗暴切断编码器原本的时间单位。

论文还保留首帧和末帧两个“边界锚点”。每个视频帧都能直接看见首尾帧，首尾帧也能看见完整序列。这对首帧生成视频、末帧约束和首尾帧同时约束尤其重要，因为开头与结尾本身就是用户给出的硬条件。

图2：绿色文字与紫色音频仍由Softmax直接处理；视频区域中，靠近对角线的局部窗口和首尾锚点使用Softmax，窗口之外的远距离关系进入双向线性记忆。

读图时可以抓住三块。第一，靠近对角线的带状区域代表相邻帧之间的精细比较。第二，第一帧和最后一帧形成贯穿全局的锚点。第三，剩余的大面积远距离区域，不再逐点比较，而是被压进可递推的记忆状态。

这个结构不是简单稀疏化，而是把不同距离的信息交给不同工具。近处需要像素级对应，远处需要稳定记住“是谁、在哪里、整体怎么动”。它承认两类信息的重要性不同，因此没有用同一计算方式一把梭。

三、第二刀：同时向前看，也向后看

语言模型生成下一个词时，只能看已经出现的内容；视频扩散模型不同，它在反复去噪整段视频时，当前帧既可以利用前面的帧，也可以利用后面的帧。因此，Video DeltaNet建立两份线性状态：一份从前向后扫描，一份从后向前扫描。

对第t帧来说，前向状态总结局部窗口之前的历史，反向状态总结局部窗口之后的内容。两块区域互不重叠，局部窗口已经由Softmax负责，首尾锚点也不会再被重复写入。最终输出就是当前查询分别读取两份状态，再把结果相加。

论文还把文字提示提前写进两份状态，每份只写一半。两个方向的读取结果相加后，文字提示恰好只被计算一次。这一步看似是细节，实际避免了双向扫描把文字条件重复加倍，导致人物、动作或风格被过度强化。

图3：同一组查询、键和值分别进入局部Softmax分支和双向线性分支；两边各自经过门控和输出投影，最后再相加回到原模型的残差通道。

两条分支不能直接相加。局部Softmax只在少量位置中分配概率，数值尺度与压缩后的线性记忆不同。论文因此给两边各加一个内容相关的门：模型可以决定当前位置更依赖局部细节，还是更依赖远距离记忆。

线性分支先做均方根归一化，再经过自己的门控；两条分支还使用不同的输出投影矩阵。直觉上，这像两位专家分别提交建议：一位负责局部画质，一位负责长期一致性。系统不仅调整两人说话的音量，还允许他们从不同方向修改最终表示。

四、最关键的变化：不再逐像素写记忆，而是整帧一起写

普通线性注意力通常按照词元顺序更新记忆：先读旧状态，计算预测误差，再擦掉一部分错误记忆并写入新值。这对一句话很自然，因为词就是一个接一个出现的。

一帧视频却同时拥有成百上千个空间小块。硬给这些小块规定一个写入顺序，会让结果依赖人为的扫描顺序；如果让所有小块各自独立写入，它们又可能互相覆盖，因为同一物体的多个相邻小块高度相关。

Video Delta Attention把问题改写为一次联合拟合：新状态既不能离原有记忆太远，又要尽量同时解释这一帧全部“键—值”关系。公式中的第一项约束记忆变化不要过猛，第二项衡量新状态对每个空间小块的预测误差，写入强度由β控制。

输入：当前帧的全部空间特征、继承自历史的记忆
1. 先按衰减门保留需要的旧记忆
2. 统计当前帧全部空间小块之间的相关性
3. 联合求解一次更新，让新记忆同时解释整帧
4. 前向与反向各执行一次，并在局部窗口外读取
输出：远距离视频上下文

闭式解中出现的(I+A)逆矩阵，是这项方法的关键。A记录同一帧中不同空间小块的键相关性。如果两个小块描述同一个主体，它们的写入就不应该被当成两件互不相干的事；逆矩阵会让这些更新彼此协调。

论文还证明，在门控固定且取值正常时，旧记忆经过一帧更新不会被无限放大。这个“非扩张”性质很重要：直播式长视频会连续执行大量更新，如果每一步都可能把历史误差放大，画面迟早会崩。

所谓“视频原生”，不是把语言模型的线性注意力直接搬过来，而是把记忆更新单位从单个词元改成整帧，并显式处理同一帧内部的相关性。

五、不能把新分支硬塞进旧模型

论文并没有从头训练一个视频基础模型，而是改造已经训练好的MiniMax H3。这带来新的麻烦：原模型习惯了全量Softmax注意力，突然插入随机初始化的线性分支，信息流和数值尺度都会变化，很可能在新分支学会工作之前，先破坏原有画质。

图4：训练分为局部对齐、整网对齐和低秩联合适配三步。灰色部分保持冻结，彩色部分表示当阶段真正更新的组件。

第一步是逐层对齐。每一层的新线性分支单独观察冻结教师模型的激活，用200步学习怎样给出接近原层的信息。这样不会让几十层随机分支同时变化，把误差层层放大。

第二步是整网对齐。校准后的分支一起装回模型，再训练500步，修正多层组合后才出现的误差。预训练权重和Softmax门仍然冻结，先让新路线学会稳定配合。

第三步才共同适配。论文在查询、键、值和输出投影上加入低秩适配器，与线性分支和两类门控一起训练2000步。最后，再把原本50步的去噪过程蒸馏成8步。

这里有一个很实用的工程判断：架构改造、采样步数减少和底层推理优化，是三件不同的事。论文先让混合注意力接近原模型，再减少去噪步骤，最后用专门内核和多卡并行压缩延迟。把这些收益混在一起，只看最终数字，很容易误判方法本身贡献了多少。

六、实验：快了多少，画质掉了多少？

训练集包含10015段视频，每段345帧、24帧每秒、分辨率1344×768，时长14.375秒。评测使用103条固定的第三方提示，所有模型生成相同分辨率和时长，不为某个模型单独挑容易的提示。

主要对照包括50步、全注意力的Dense H3，以及追求速度的4步FastH3。最终VDN-H3使用8步。论文同时报告感知画质、技术质量、运动幅度、指令遵循、世界一致性，以及首尾帧约束能否保住。

图5：多组提示下的生成画面。重点观察人物、动物和场景主体在长视频中的身份延续，以及大幅运动时背景结构是否明显漂移。

在五项无参考画质指标上，8步VDN-H3与50步Dense H3的差值落在+0.06到+1.00之间，也就是没有出现明显的总体画质下降；4步FastH3则比Dense H3低2.70到12.74点。光流运动幅度方面，VDN-H3为11.71像素，Dense H3为11.55，FastH3为9.19。

指令遵循分数中，VDN-H3与Dense H3同为2.25；感知质量为4.45，对照为4.40；世界一致性为1.77，对照为1.84。首尾帧约束任务里，峰值信噪比只差0.18分贝，结构相似度差0.007，感知距离差0.011。

这些结果支持一个相对克制的结论：在论文的103条提示和指标体系中，VDN-H3大体保住了Dense H3的画质，并明显优于更激进的4步快速版本。它不等于每个视频都肉眼无损，也不等于所有内容类别都同样稳定。

真正亮眼的是速度路径被拆得很清楚。单次网络计算在一张H200上从35.35秒降到11.16秒，约3.2倍；在一张B200上从16.0秒降到6.2秒，约2.6倍。

随后，8步蒸馏把单张B200的完整去噪从307.9秒降到49.3秒；再用8张B200按注意力头并行，最终降到6.70秒。相对单张B200运行50步Dense H3的799.6秒，累计加速119.3倍；相对同样使用8张显卡和50步Dense H3，论文摘要给出的加速为14.5倍。

项目页给出的端到端服务数字约为9秒，因为除了6.9秒左右的去噪，还包括解码和服务开销。这里必须区分：6.70秒是论文表格里的扩散网络去噪延迟，不是普通电脑从输入文字到拿到最终视频的完整耗时。

七、为什么视频越长，它的优势越明显？

传统全注意力需要比较所有视频位置，序列越长，关系表越大。VDN只让固定宽度的局部窗口和首尾锚点保留Softmax，其余距离交给线性状态，因此视频增长时，精细注意力所占比例不断下降。

当潜在帧从42增加到102，Softmax注意力密度从42.08%降到19.98%。同一张B200上，整体加速从10.3倍上升到16.2倍；H200上的网络骨干加速也从1.8倍上升到3.2倍。

这说明它的目标不是把一个很短的视频再省几十毫秒，而是为更长的视频和直播式生成改变增长曲线。视频越长，原本需要全量比较的远距离关系越多，压缩为线性记忆的收益越大。

八、和三条相近路线放在一起看

长上下文几何重建模型（LoGeR）也把局部精细处理与长期记忆结合起来，但主要目标是长上下文几何重建。它关注相机和场景几何怎样长期一致；本文关注扩散视频中，近邻纹理与远距离主体信息怎样分工。

量化长视频生成模型（VideoGen）通过2比特量化键值缓存，降低自回归长视频生成的内存占用。它主要压缩“历史存储有多贵”；本文则重写“远距离注意力怎样计算”。两者分别从存储和计算两侧处理长视频成本。

第二代门控记忆网络（DeltaNet-2）研究线性注意力中擦除与写入的分离，是更一般的序列记忆机制。本文把类似思想带进视频扩散，并增加双向扫描、整帧联合更新、局部Softmax和边界锚点，解决视频不是单向词流的问题。

此前我们讨论过“视觉模型不再只拼大模型，而是重新安排计算”的趋势。Video DeltaNet正是一个很典型的例子：它没有把所有位置一律降配，而是先判断哪类关系值得精算，哪类关系可以压缩，再分别设计计算路径。

九、真正落地时，还要算三笔账

第一笔是硬件账。6.70秒来自8张英伟达B200显卡，并配合SGLang、专门的Triton内核、低精度矩阵计算和多卡分片。它证明了直播速度可以达到，但不代表消费级显卡也能在同样时间生成。

第二笔是训练账。方法不需要从头训练基础模型，这是巨大优势；但它仍包含逐层对齐、整网对齐、低秩适配和少步蒸馏，还依赖10015段固定规格训练视频。迁移到另一套骨干，不是替换一行注意力代码就结束。

第三笔是质量账。固定状态无法保存全部历史细节。局部窗口、首尾锚点和双向记忆缓解了损失，但极长视频、突然切换的主体、复杂文字、细小物体和罕见运动仍可能暴露压缩上限。论文评测只有103条提示，覆盖面不能等同于真实平台的全部内容。

此外，项目的“快于播放”是特定14.3秒、768p任务在高端多卡系统上的结果。分辨率提高、时长继续增加、同时服务多人或加入更复杂音频条件，都会改变吞吐和成本。工程团队应关注单位视频成本、并发能力和稳定性，而不只看单次最快延迟。

十、普通读者最容易误解的五个问题

问题一：6.70秒是不是一张显卡就能做到？不是。这个数字使用8张B200显卡，并把注意力头分散到不同显卡并行执行。单张B200运行8步去噪是49.3秒，已经比原始单卡50步方案快很多，但没有达到论文标题里最吸引人的实时速度。

问题二：生成14.3秒视频只需要6.70秒吗？6.70秒是核心扩散网络的去噪时间。项目页给出的完整返回时间约9秒，还包含视频解码和服务开销。用户上传素材、网络传输、排队和安全审核也不在这个数字里。

问题三：线性记忆是不是等于把以前的画面删除？不是删除，而是压缩。模型保留一份固定大小的状态，记录远距离画面中最有用的关系；相邻画面和首尾帧仍能被直接查看。代价是压缩状态不可能无损保存每个远处像素。

问题四：画质指标略高，是否说明新模型比原模型更漂亮？不能简单这么说。部分差异很小，而且无参考指标与人的偏好并不完全一致。更稳妥的结论是：在固定测试集上，混合注意力和8步蒸馏没有造成明显的整体质量退化。

问题五：这套方法能直接用于所有视频模型吗？架构思想具有通用性，但论文只在MiniMax H3上完成系统验证。其他模型的时间编码方式、注意力层布局、文本与音频条件、训练数据和推理框架不同，都需要重新适配和测试。

把这五个问题放在一起，就能看清论文的真实位置：它不是用一个小技巧让所有电脑突然实时生成高清视频，而是证明了一套完整系统可以把高质量长视频生成推进到“生成速度快于播放”的区间。

还要注意，“快于播放”比较的是生成一段固定时长视频所花的计算时间与视频播放时长。它不等于直播摄像头那种每一帧立即响应，也不保证提示词修改后毫无等待。对于创作工具，这已经能明显缩短预览节奏；对于实时互动产品，仍需把首帧等待、连续输出、并发和网络延迟一起纳入评估。

如果只使用一张显卡，这项工作依然有价值：混合注意力减少了单步计算，少步蒸馏减少了总步数。只是论文最亮眼的6.70秒，还叠加了8张高端显卡的并行能力，不能直接当作普通电脑或消费级显卡的体验承诺。

十一、龙哥点评：真正的效率，不是所有地方都少算

龙哥最欣赏这篇工作的地方，不是“119倍”这个最大数字，而是它没有把不同来源的加速混成一个魔法。架构改造解决计算增长，8步蒸馏减少重复去噪，多卡与专门内核解决部署延迟。每一层都能单独解释，也能看到代价。

真正聪明的降本，不是让所有位置都少算，而是让必须精确的位置继续精算，让只需要长期概括的位置换一种记法。这比“一刀切地把全注意力换成线性注意力”更接近成熟工程。

它对视频生成行业的意义也很直接。只要生成速度慢于播放速度，产品就更像离线制作工具；当核心生成开始接近或快于播放，实时预览、互动内容、动态广告和直播辅助才有机会出现新的产品形态。

不过，离普通用户真正“实时”还有一段距离。高端显卡成本、多人并发、完整编解码、内容安全和长时间稳定性，都比一张论文表格复杂。这篇论文证明的是一条可行的系统路线，而不是宣布视频生成的成本问题已经结束。

对研究者来说，下一步值得追问两个问题：固定大小的线性记忆能支撑多长的视频？当远距离细节确实重要时，系统能否动态扩大精细注意力范围，而不是始终使用固定窗口？如果这两个问题继续推进，混合注意力可能不只用于MiniMax H3，也会成为长视频模型更通用的骨架选择。

对学生和普通开发者，这篇论文还有一个值得学习的方法论：面对一个“又贵又慢”的模块，先不要急着整体替换。可以先拆开信息类型，判断哪些部分必须精确保存、哪些部分只需概括，再为不同部分设计不同计算。很多系统优化的突破，不来自某个模块绝对更强，而来自分工更合理。

对产品团队，评估这类论文时则应把三个数字分开记录：单次网络计算加速、采样步骤减少、最终服务端延迟。只有这样，换硬件、换骨干或提高并发时，才能判断收益是否还能保留。一个最大累计倍数很适合传播，却不够指导真实预算。

如果未来开源权重和部署代码进一步完善，最值得复现的也不只是最终速度，而是逐项关闭局部窗口、双向记忆、整帧更新和蒸馏后的变化。只有拆开看，才能知道画质由哪一部分守住，速度又由哪一部分贡献。

主要参考资料

Video DeltaNet原论文

https://arxiv.org/abs/2609.20744

官方项目页

https://openvdn.github.io/

官方代码

https://github.com/OpenVDN/vdn-minimax-h3

LoGeR

https://arxiv.org/abs/2603.03269

Quant VideoGen

https://arxiv.org/abs/2602.02958

Gated DeltaNet-2

https://arxiv.org/abs/2605.22791

本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。