← 返回 PaperDaily
视觉与图像
快手Kling团队新作：16 FPS实时生成多镜头连贯视频，一个模型搞定生成、参考与编辑
告别逐镜头生成的割裂感，快手Kling团队联合清华、南大提出的ContextMaster，把生成、参考和编辑统一进一个模型，在单卡上跑到16 FPS的同时，还能让角色和场景在多镜头之间保持一致。🔍 想看懂这套固定预算稀疏路由怎么在有限算力下留住完整记忆？这篇值得细读。
龙哥读论文
发布于 2026-08-14 21:47:15
阅读 4
查看原文
上图是ContextMaster的整体效果演示，展示了生成、参考、编辑和组合多镜头故事的完整流程。
原论文信息如下：
先看一个直观的例子，感受一下多镜头一致性有多重要：
引言：多镜头视频创建的痛点 T2MV文本驱动生成演示，根据文本描述生成多镜头视频，展示办公对话场景中角色、对话和叙事的连贯性。
拍过短视频的人都知道，一个完整的故事很少用一个镜头讲完。导演需要先拍一个全景建立场景，再来几个特写交代细节，中间可能还要补拍或者替换某个镜头。视频生成模型也一样，真正要用于创作，必须支持多镜头的连续生成和编辑。
现有的大多数视频生成系统，都把"生成"、"参考图驱动"和"编辑"做成了三个独立的功能。用户想做一个多镜头故事，就得分三次调用模型，结果往往很惨：第一个镜头里的主角是黑头发，到了第三个镜头就变成金发了；场景里的沙发在编辑时被抹掉了，背景却留下了难看的残影。这种割裂感，做视频创作的人应该深有体会。
快手Kling团队联合清华大学、南京大学等机构提出的ContextMaster，就是冲着这个问题来的。这篇论文把多镜头视频创建定义为一个有状态的交互过程：模型在每一轮可以生成新镜头、按照参考图生成镜头，或者编辑已有镜头，然后把用户接受的结果更新到共享的视觉历史中。三种操作可以在任意顺序下自由组合，这才像一个真正的创作工具。
ContextMaster支持文本到多镜头视频（T2MV）、参考图到多镜头视频（R2MV）、多镜头视频编辑（V2MV）以及组合式多镜头创作（X2MV），在单张GPU上达到16 FPS。
要做到这一点，需要回答两个关键问题：第一，如何用一个模型处理异构的视觉上下文？参考图、历史镜头、源视频和目标视频在时间语义上完全不同；第二，如何让上下文读取成本不随历史增长而膨胀？毕竟每多交互一轮，存储的历史就多一段。
方法概述：三件套解决一个核心矛盾 ContextMaster的整体方案由三大组件构成：角色感知的旋转位置编码、可缓存的固定预算上下文模块，以及特权上下文蒸馏训练策略。三者的关系是层层递进的：位置编码解决"上下文长什么样"的问题，稀疏路由解决"上下文怎么读"的问题，蒸馏训练解决"稀疏模型怎么训"的问题。
图2：ContextMaster统一IMVC框架总览。参考图、历史镜头和可选的源视频特征构成干净上下文，其键值对在去噪过程中被缓存复用。角色感知RoPE区分它们的时间角色，固定预算注意力保留强制对应关系并动态检索剩余上下文。右侧面板总结了先PCD后DMD的两阶段训练策略。
这里的核心矛盾在于：上下文要"全"，但读取要"省"。直接拼接所有上下文虽然信息完整，但每轮去噪都要读一遍全部历史，计算量随交互轮数线性增长；而传统的滑动窗口或随机采样虽然控制了成本，却会丢掉重要的历史信息。
核心原理推导：角色感知上下文表示 ContextMaster首先定义了一个带状态的交互式多镜头视频创建框架。在第r轮交互中，模型接收指令u、可选的参考图R、可选的源视频S以及此前积累的镜头历史H，然后输出一个新的视频片段V̂。如果用户接受这个片段，它会被追加到历史中，在下一轮作为干净的上下文参与计算。
四种角色在时间语义上完全不同：参考图指定外观，历史镜头携带持续的身份和叙事状态，源视频提供帧对齐的编辑结构，而带噪目标则是尚未生成的内容。如果把四者简单拼接到同一个时间坐标系里，模型根本无法区分它们的角色差异，位置语义也会互相混淆。
为此，论文设计了角色感知的旋转位置编码（Role-Aware RoPE）。核心思路是在标准RoPE频率的基础上叠加一个角色相关的相位偏移：每个token被赋予一个帧坐标t和一个角色-镜头编码c。对于有n个历史镜头的请求，参考图的角色码设为-1，第j个历史镜头设为j，源视频设为n+1/2，目标设为n+1。这样，同一帧位置的源视频和目标token拥有相同的帧坐标t，时间项保持它们的对齐关系，而偏移项则告诉模型该token属于哪个角色。
这个设计的巧妙之处在于，它不需要改变模型架构，只改位置编码就能让同一个模型处理四种不同角色的输入，而参考图固定使用t=0的帧坐标，避免了图像和视频在时间维度上的错位。
核心设计：固定预算稀疏路由 有了统一的上下文表示，下一个问题是控制读取成本。ContextMaster采用了一种不对称的注意力设计：上下文分支（C）可以读取自身，但不读取带噪目标，也不做文本交叉注意力；目标分支（X）则读取上下文和自身。这种设计使得上下文分支的键值对完全独立于去噪步数和CFG分支，每轮只需预填充一次，之后在采样过程中反复复用。
但仅靠缓存还不够，因为目标对上下文的密集读取仍然会随历史增长而膨胀。论文的做法是把目标到上下文的注意力稀疏化：将上下文分块，每块m个token，每个目标块最多激活B个上下文块（实验中使用6个帧当量的预算）。这里的B是一个绝对预算，而不是随上下文增长的相对比例，因此无论历史有多长，每个目标查询的活跃读取成本都保持不变。
这个稀疏路由还不是纯靠相似度打分的Top-k选取。论文引入了一个关键模块叫ConstraintSink：参考图块和与目标帧对齐的源视频块被强制保留在每一个目标块的注意力范围内，剩余预算才用于内容相关的动态路由。为什么要这么做？因为参考图和源视频是用户显式给定的约束条件，不能因为内容相关性打分不高就被丢掉。尤其是视频编辑场景中，源视频和目标帧的逐帧对齐关系是运动结构和画面结构保持的基础，一旦被路由机制滤掉，编辑结果就会完全走样。
动态路由部分也做了精细设计：剩余的预算在源视频和历史之间分开竞争，而不是混合在一起统一排名。这样避免了源视频帧的强局部相似性压制长程历史信息。如果某一方缺失或候选不足，未使用的预算会自动转移给另一方，保证预算被充分利用。最终每个目标块的激活上下文规模不超过B个块，即B×m个token。在实现时，论文采用了TileLang的块状零阶泰勒核来加速路由稀疏注意力的前向计算。
特权上下文蒸馏：稀疏模型怎么训 稀疏路由和少步采样会引入两类互补的错误：学生模型只能看到教师的一部分上下文，并且要用很少的几步去逼近教师的完整轨迹。如果直接拿稀疏模型做少步蒸馏，误差会随着时间步累积放大。ContextMaster的解法是两阶段特权上下文蒸馏：先让一个拥有全量上下文访问权的密集教师模型，把"全知"的去噪行为蒸馏给稀疏学生，保证学生的基础能力；再让学生在部署场景下做分布匹配微调，把在少步采样和自身生成历史中累积的误差修正回来。
第一阶段叫做特权一致性蒸馏（Privileged Consistency Distillation，PCD）。密集教师从噪声水平σ做一步Euler采样得到σ'处的样本，稀疏学生及其指数滑动平均版本分别在两个端点预测干净样本。预测出的两个干净样本应该一致，于是蒸馏损失就是它们之间的均方误差。这样做的妙处在于：学生在这个过程中学会了用不完整的上下文去逼近密集教师的完整上下文行为，同时通过一致性目标建立了稳定的少步流映射。更贴心的是，教师做的是带CFG的无条件和有条件预测，而学生只需要做有条件预测——蒸馏把CFG的引导信号直接融进了学生参数里，推理时省掉了一次无条件前向传播。
第二阶段是分布匹配微调。一致性蒸馏擅长建立流映射，但容易把画面细节抹平，生成结果显得"糊"。DMD（Distribution Matching Distillation，分布匹配蒸馏）通过比较一个冻结的密集"真实分数模型"和一个可训练的稀疏"伪分数模型"在相同中间噪声点上的分数差异，给出一个梯度方向来修正学生的生成分布。值得一提的是，这个阶段的历史镜头全部由学生自己在完整部署流程中生成、解码、重编码得到——也就是说，学生面对的是"自己犯错产生的历史"，而不是教师生成的干净历史。这直接解决了自回归生成中错误累积的核心痛点。
为了让每个部署步都能接收到分布级监督，训练时均匀采样一个退出索引，沿着部署噪声调度跑到该步，丢弃前面的梯度，只从该步的预测反向传播。这样所有部署步都被纳入DMD的监督范围，而推理时的稀疏拓扑和上下文预算完全不受影响。
实验结果：三大任务全面领先，实时推理16 FPS ContextMaster在T2MV、R2MV和V2MV三个任务上分别与最相关的最新基线进行了对比。T2MV的对手是整体式多镜头生成模型MultiShotMaster、实时自回归模型LongLive和ShotStream，以及Infinity-RoPE。R2MV对比的是参考条件一致生成模型Phantom。V2MV对比的则是VideoCoF、LucyEdit、StreamEdit和LiveEdit四个视频编辑器。
先看T2MV。ContextMaster在文本对齐（TA）上达到0.205，明显超过最好的基线Infinity-RoPE的0.191。镜头间一致性（Inter-Shot）从ShotStream的0.808提升到0.836，静态质量（DD）也翻倍提升。相比支持实时推理的基线（LongLive、Infinity-RoPE、ShotStream都在16 FPS左右），ContextMaster以16.74 FPS略微领先的同时，在任务完成度（TF）上拉开了明显差距——4.17分对ShotStream的4.03分。
R2MV任务上，ContextMaster与Phantom相比，在镜头间一致性上大幅领先（0.749对0.638），任务完成度从3.68提升到4.04。Phantom在动态程度（DD）和镜头内主体一致性上略占优势，说明在保留参考身份方面双方各有侧重，但ContextMaster在跨镜头的整体一致性上显著更强。
V2MV任务上，ContextMaster在9个指标中领先或持平8个。文本对齐（TA）达到0.238，远高于VideoCoF的0.223；任务完成度4.20分同样明显领先。唯一失守的是美学质量（AQ），VideoCoF以0.533略胜ContextMaster的0.520。这说明VideoCoF在画面美感上仍然有一手，但在编辑一致性上被全面压制。
定量指标之外，作者还组织了10位视频专业人员的用户研究，覆盖三大基础任务和组合式的X2MV。4个维度包括视觉质量（VQ）、指令跟随（IF）、时间一致性（TC）和跨镜头一致性（CC），评分按1到5分进行。
T2MV任务中，ContextMaster在视觉质量、指令跟随和跨镜头一致性上都领先ShotStream，但时间一致性上略低（4.10对4.14），说明镜头内部运动流畅性上还有一些提升空间。R2MV任务全面领先Phantom，四个维度都反超。V2MV任务中，ContextMaster在指令跟随、时间一致性、跨镜头一致性上领先VideoCoF，但视觉质量反而偏低（3.61对3.70），与定量指标中AQ略低的结论互相印证。X2MV组合任务本身就是ContextMaster独有的能力，用户给出了不错的评分，为交互式创作的产品化提供了初步证据。
消融实验证实了每个组件的必要性。去掉角色感知RoPE后，镜头间一致性明显下降，因为模型无法区分源视频和目标，编辑时会把源内容混进结果；去掉ConstraintSink后，强制对齐信息丢失，编辑保真度受损；PCD和DMD各自贡献了不可替代的收益——去掉PCD后少步采样质量大幅下降，去掉DMD后视觉细节和长程一致性都受影响。
预算消融也很有信息量：预算从2帧当量增加到6帧当量时，镜头间一致性从0.802提升到0.836；但继续增加到8帧当量时，收益几乎停滞（0.837）。这说明6FE是一个很好的性价比平衡点，也侧面验证了固定预算设计在效果上并不吃亏。更有意思的是，2FE预算下模型性能只是温和下降而不是崩盘，说明路由机制本身的检索能力相当可靠。
从图3的定性对比可以直观看到：T2MV场景中，竞品在视角切换后要么替换了角色身份，要么直接丢了一个角色；ContextMaster在整个五镜头序列中始终保持西装男子和兜帽射手的视觉区分。R2MV场景中，Phantom在特写和全景切换时参考身份不稳定，ContextMaster则让老陶匠从塑形到修坯再到开始第二个陶罐，全程外貌一致。V2MV场景中，竞品要么产生不完整的换装，要么在视角变化时编辑效果不统一，ContextMaster则在全景、特写、远景中都保持一致的编辑结果，同时不破坏源场景的结构。
论文还提供了一个可选的"Interactive Director"模块。它负责把用户的粗粒度需求（比如"拍一个咖啡馆相遇的故事"）拆解成具体的镜头序列，检索参考图，调用镜头边界检测和时间定位工具确定需要编辑的源片段，然后逐轮调用视频模型执行。这个Director本身在视频模型外部，不参与去噪路径，不影响16 FPS的实时性能。
总结一下实验结果：ContextMaster在三大基础任务上全面领先或持平最强基线，在组合式任务上实现了独有的创作流程，同时保持了单卡16.74 FPS的实时推理速度。这个速度与当前实时推理基线（LongLive、ShotStream等）处于同一水平，但上下文预算不随历史增长，意味着多轮交互越往后，效率优势越明显。
融会贯通 把ContextMaster放在更长的时间轴上看，能读出一些趋势性的信号。第一个信号是：视频生成模型的竞争正从"单镜头画质"转向"多镜头叙事一致性"。单镜头画质已经卷到相当高的水平，但真正决定创作工具可用性的，是跨镜头的角色、场景和叙事状态的一致性。ContextMaster把镜头间一致性从0.808推到0.836，数字上只是一两个点的提升，但在实际创作中，这意味着"换镜头不换人"从偶发现象变成了常态表现。结合PaperDaily已收录论文可观察到，ShotStream和LongLive等模型也在向这个方向努力，但ContextMaster率先把生成、参考和编辑统一进了同一个状态化界面，这个范式转型比单点指标更有价值。
第二个信号是：稀疏注意力加特权蒸馏的组合正在成为视频生成的标配技术路径。ContextMaster的固定预算路由解决了上下文无限增长的问题，PCD加DMD的两阶段训练解决了稀疏模型少步采样质量差的问题。这套组合在视频编辑和多镜头生成上走通了，后续很可能会被更多视频生成系统采纳。第三个信号隐藏在训练细节里：内部数据集包含100万个多镜头视频，参考和编辑任务使用公开数据集。这个数据规模说明，多镜头视频生成的数据门槛正在快速降低，数据不再是主要瓶颈。未来决定模型上限的，可能更多是上下文管理和交互机制的设计。再加上ContextMaster和已有的AR流式生成模型如ShotStream在16FPS这个实时档位上已经可以一战，多镜头视频创作工具离真正的产品化越来越近了。
龙迷三问 这篇论文到底在解决什么问题？ 快手Kling团队联合清华、南大等提出ContextMaster，统一交互式多镜头视频创建（IMVC）。一个模型同时支持文本生成、参考图驱动和指令编辑，固定预算稀疏路由让单卡推理达16 FPS，角色、场景跨镜头全程一致。这篇工作最值得看的点是什么？ 在T2MV、R2MV、V2MV三个任务上均取得最佳或次佳性能，尤其在任务完成度和镜头间一致性上显著提升，同时保持16 FPS的实时推理速度。这篇工作的边界或风险在哪里？ 优点：统一了生成、参考引导和编辑三种操作；固定预算稀疏注意力保证推理成本可控；两阶段蒸馏有效转移密集上下文行为。缺点：上下文分支仍需对完整历史进行双向预fill，吞吐量随镜头数缓慢下降；对超长历史仍需进一步优化。如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~
龙哥点评 论文创新性分数： ★★★★☆
提出统一的多镜头视频创建框架，通过角色感知旋转位置编码、可缓存固定预算稀疏上下文路由和特权上下文蒸馏，实现生成、参考引导和编辑的统一交互式操作。实验合理度： ★★★★☆
文本对齐（TA）、美学质量（AQ）、运动平滑度（MS）、动态度（DD）、帧内主体一致性、帧内背景一致性、镜头间一致性、任务完成度（TF，Gemini 2.5 Pro评分）、FPS。学术研究价值： ★★★★☆
提出统一的多镜头视频创建框架，通过角色感知旋转位置编码、可缓存固定预算稀疏上下文路由和特权上下文蒸馏，实现生成、参考引导和编辑的统一交互式操作；更关键的是问题定义是否可复用到同类任务。稳定性： ★★★☆☆
现有材料未提供充分的极端条件、重复运行或扰动测试，稳定性暂按中性评价。适应性以及泛化能力： ★★★☆☆
现有材料未完整展示跨数据集、跨场景或分布外实验，泛化能力仍需进一步验证。硬件需求及成本： ★★★☆☆
单GPU上16 FPS（5镜头平均），固定活跃读取预算为6帧等效（6 FE）。复现难度： ★★★☆☆
现有材料未确认完整代码、配置、数据处理脚本和权重是否齐备，复现难度暂按中性评价。产品化成熟度： ★★★☆☆
论文验证以研究实验为主，真实部署中的时延、成本、维护和异常场景仍需补充验证。可能的问题： 上下文分支仍需对完整历史进行双向预fill，吞吐量随镜头数缓慢下降；对超长历史仍需进一步优化。
主要参考文献
[1] Guo, X., Wei, Z., Li, X., et al. ContextMaster: Interactive Multi-Shot Video Creation via Fixed-Budget Sparse Context Routing. arXiv:2608.04956v1, 2026. [2] Luo, J. et al. ShotStream: Streaming video generation with role-aware context. 2026b. [3] Yin, T. et al. Distribution matching distillation for few-step generation. 2024. [4] Shao, Y. et al. LIVEditor: Real-time video editing via block sparse attention. 2026. [5] Wan, X. et al. Wan2.1: Video foundation models. 2025. [6] Meng, B. et al. HoloCine: Holistic multi-shot video generation. 2025. [7] 项目主页: https://guoxu1233.github.io/ContextMaster/ *本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～ 想了解更多原文细节的小伙伴，可以点击 "阅读原文"， 查看更多原论文细节哦！
🎬 想亲手体验让同一个角色在五个镜头里不换脸的快感吗？想第一时间获取多镜头视频生成、世界模型的最新解读？欢迎加入龙哥读论文粉丝群，
扫描下方二维码或者添加龙哥助手微信号加群 ：kangjinlonghelper。
一定要备注：研究方向+地点+学校/公司+昵称（如 视频生成+上海+快手+龙哥） ，根据格式备注，可更快被通过且邀请进群。
『龙哥读论文』微信群目前包含：图像处理、大模型及智能体、自动驾驶及机器人、AI医疗及AI金融5个群，视频生成方向的小伙伴都在等你来聊！
