西湖大学视频世界模型：无需训练重拍任意视角，综合评分85.192

龙哥导读

给一段已经拍好的视频，能不能把相机挪到原本不存在的位置，再把同一件事重新拍一遍？这比普通视频生成难得多：人物动作要与原视频同步，旧内容要出现在新视角的正确位置，转过墙角后新露出的区域要补得合理，镜头绕一圈回来还不能“失忆”。西湖大学提出的 World in World 没有为每种控制重新训练模型，而是把原视频、目标视角投影、三维几何和历史画面统一整理成世界模型能直接读取的视觉证据。冻结骨干不动，控制综合评分达到85.192，相机旋转误差降到2.8326度。它最值得看的地方，是把“训练一个新控制器”改写成“在正确时间，把正确证据递给模型”。

最近连续出现了几类世界模型工作：有的把场景压成对象槽来预测机器人未来，有的让动作和视觉共享表示，还有的开始追问画面虽然漂亮，相机和动作到底有没有走对。World in World接着往前推了一步：如果世界模型已经学会生成连贯视频，能否不重新训练，就让它进入一段已有视频，沿任意相机轨迹探索？

这个问题听上去像“换个镜头”，实际包含四个彼此牵制的任务。第一，生成画面必须跟原视频处于同一事件时刻；第二，人物和背景要搬到新相机下的正确位置；第三，原相机没看到的表面要被合理补全；第四，长时间生成后重新看向旧区域，场景不能换脸、换衣服或改变布局。

传统做法往往为相机控制、视频编辑、人体动作迁移或长期记忆分别设计模块，并重新训练适配。世界中世界方法的判断更大胆：大模型缺的未必是又一次训练，可能只是缺少一种统一、清楚、可定位的视觉证据表达。

图1：World in World整体流程。上方展示原视频、目标视角投影、渲染几何和历史状态四类证据；中间的对应关系路由负责把当前查询送到匹配位置，证据强度调节模块决定每类信息应影响多少；下方展示生成结果进入滚动缓存并在淘汰后写入长期历史。来源：论文图2。

一、不是把视频“旋转一下”，而是重新观察同一事件

一段视频只记录了一条相机轨迹。镜头正面拍到舞者时，舞者背后的墙、身体侧面和被遮挡物体都没有完整出现。如果希望绕到侧面，系统不能简单把二维像素拖过去，因为像素移动由深度、相机姿态和遮挡共同决定。

更麻烦的是，视频里的世界在变化。人物持续运动，动物在转身，水面和树叶也在变化。新镜头不仅要生成一个合理画面，还要与原视频的事件时间对齐。原视频第30帧人物抬手，新视角的第30帧也必须是同一次抬手，而不是重新编一套动作。

因此，这套方法要解决的不是静态三维重建，而是“动态事件的再摄影”。输入是源视频和目标相机轨迹，输出是在新视角下重新渲染的同一事件。模型既要服从已有事实，又要在新暴露区域使用生成先验。服从太弱，内容会漂；服从太强，投影空洞和几何错误又会直接粘在画面上。

真正的矛盾是：已观察区域要尽量忠实，未观察区域又必须允许模型创造。论文后面的全部设计，基本都在回答“哪块该复制、哪块该生成、什么时候该相信哪一种证据”。

二、核心反转：不改模型，先把控制变成“干净视觉状态”

论文使用一个已经训练好的因果视频世界模型。它逐段生成后续视频，并通过自身注意力读取开头画面和最近生成的状态。作者注意到，这个机制本身就是一个现成入口：模型既然已经会读取视觉状态，就不必为每种新控制再加一条陌生通道。

世界中世界方法把外部控制全部转换成模型熟悉的“干净视觉状态”。所谓干净，指的是已经完成去噪、可以作为明确参考的视觉表示，而不是正在随机噪声中变化的中间结果。每份证据还附带相机位置、事件时刻、有效区域以及启用阶段。

论文用一个统一表达描述第 \(b\) 类证据：\(\Psi_b(E_b;C,s)=(X_b,P_b,\omega_b,\gamma_b^{(s)})\)。这里 \(E_b\) 是原始证据，\(C\) 是目标相机轨迹，\(s\) 是当前去噪步骤；\(X_b\) 是视觉内容，\(P_b\) 记录相机和事件时间，\(\omega_b\) 表示每个位置有多可信，\(\gamma_b^{(s)}\) 决定这一证据在当前步骤是否参与。

白话理解，这像给每张参考图附上一张使用说明：它拍的是哪里、属于什么时候、哪些像素是真的、应该在哪个生成阶段使用。模型不再面对一堆没有上下文的图片，而是获得一组带时空坐标和可信范围的证据。

随后，这些视觉状态经过冻结骨干提取为注意力中的键和值，并暂存在辅助块中。当前生成画面提出查询时，可以直接读取这些参考。每一段生成结束后，临时证据块被移除，最终结果进入正常滚动缓存。控制因此不再等于修改模型参数，而是改变模型当下能看见什么。

三、四类证据各管一件事

第一类是源视频证据。它负责回答人物长什么样、衣服是什么颜色、事件正在怎样发展。源视频最接近事实，但它停留在原相机视角，只靠它无法告诉模型，新镜头中人物应该出现在画面的哪个位置。

第二类是目标视角投影。系统估计源画面深度，把像素反投影到三维空间，再根据目标相机重新投到新画面。它像一张半透明施工图：能够投影到的位置给出较明确的布局，空洞则告诉模型哪些区域从原视角无法得到。

第三类是渲染几何证据。大幅转动相机时，人物背面或侧面可能完全没有源像素。论文借助三维人体或场景几何，在目标视角渲染出形状和粗略外观，为新露出的身体表面提供结构提示。它不负责生成最终纹理，而是减少“手臂突然消失、身体粘成一团”这类错误。

第四类是历史生成证据。因果视频模型的缓存容量有限，较早画面最终会被挤出去。如果镜头离开一个房间，过很久再回来，模型可能已经忘记门、桌子和墙面原先长什么样。系统把被淘汰状态的视觉特征连同相机与时间信息存入历史库，返回旧区域时再检索最相关且彼此不重复的若干状态。

这四类证据形成互补：源视频保身份，目标投影保位置，几何渲染补结构，历史检索保长期一致性。单独看，每一类都不完美；组合起来，刚好覆盖“看见过的、正在看见的、新露出的、已经忘掉的”四种情况。

四、对应关系路由：别让注意力只凭“长得像”找位置

证据准备好了，模型仍可能读错。普通注意力主要根据特征相似度匹配位置。大视角变化后，同一块衣服可能形状变化；重复窗户、相似地砖和树叶又可能长得几乎一样。只凭外观，当前画面中的一个位置很容易对上源视频里的错误区域。

方法加入对应关系引导的注意力路由。系统先跟踪源视频中的点，为同一个三维表面保持稳定身份，再结合深度和相机几何，判断当前查询位置与源视频哪个位置真正对应。若第 \(i\) 个查询与第 \(j\) 个源位置匹配，就在原注意力分数上加入 \(\log\beta_{ij}\)。

公式写成 \(\ell_{ij}^{corr}=q_i^\top k_j/\sqrt{d_h}+\log\beta_{ij}\)。前半项仍是模型原本的内容相似度，\(q_i\) 是当前查询，\(k_j\) 是源证据，\(d_h\) 用来控制数值尺度；后半项 \(\beta_{ij}\) 则来自几何对应关系。匹配越可靠，这个位置越容易被注意力选中。

这个设计没有粗暴屏蔽模型原有判断，而是在几何明确时给正确位置加路标。没有可靠对应的区域，模型仍可使用自身生成先验和其他证据。它解决的是“去哪里读”，不是强迫模型把投影结果原样复制。

五、证据强度调节：参考越多，不代表越该全部相信

不同证据的可靠程度并不相同。源视频中的可见纹理通常很可信；深度投影在遮挡边缘可能破碎；几何渲染能给出身体形状，却未必能还原衣服纹理；历史状态若视角相差太远，也可能把旧错误重新带回来。

如果所有证据使用同一个强度，最强的通道可能压制模型本身的生成能力。画面会机械粘贴投影、出现重影，或者为了服从错误几何而扭曲。论文因此提出按证据分别调节的注意力引导。

设 \(o_0\) 为模型只读取原生状态时的响应，\(o_e\) 为加入第 \(e\) 类证据后的响应。方法不会简单放大整个 \(o_e\)，因为其中包含模型本来就会产生的方向。它先减去 \(o_e\) 在 \(o_0\) 方向上的投影，只留下证据真正新增的部分，再用两者余弦相似度和独立强度 \(g_e\) 调节。

可以把它理解成开会。模型原生判断是主报告，目标投影、几何和历史是三位顾问。每位顾问只补充主报告里没有的信息，而不是把主报告重复放大；意见与当前方向冲突过大时，影响会受限。最后输出幅度还以原生响应为参照，避免控制信号把生成过程拉崩。

更实用的一点是，这些计算复用同一次去噪前向中的注意力结果，不需要为每类证据再完整运行一次网络。论文所说的“无需额外网络函数评估”，指的就是引导不会按证据数量成倍增加完整骨干前向次数。它仍然会增加证据构造、缓存和注意力处理成本，但避免了最昂贵的重复推理。

六、实验怎么比：画面、时间与相机都要算

论文把这套方法接到公开的因果视频世界模型上，所有预训练参数保持冻结。评测使用公开视频分割测试集和百万公开视频集，所有方法接收同一源视频和连续目标相机路径，再统一帧数、相机角度和指标预处理。

对比包括六种相机控制或视频重拍方案。评价没有只看单帧好不好看，而是分成三组。第一组衡量图像忠实度，包括峰值信噪比、结构相似度和感知距离；第二组用七个视频维度检查美感、成像、闪烁、运动平滑、主体一致、背景一致和动态程度；第三组专门估计生成视频的相机轨迹，与目标轨迹计算平移和旋转误差。

这种组合很重要。一个方法可能画得精致，却根本没有按照要求转动相机；也可能相机路径正确，但人物在每一帧换脸。世界模型控制不能只靠某个画质分数定胜负，必须同时看“像不像、稳不稳、走没走对”。

图2：不同方法在相同源视频和目标相机路径下的代表帧。阅读时重点观察人物身份、背景结构、新露出区域是否完整，以及镜头转动后画面有没有被拉伸或重新编造。来源：论文图3。

七、主要结果：综合评分最高，相机路径也更接近目标

世界中世界方法的七维视频综合评分为85.192，在表中最高。美感分56.556、成像质量68.004、运动平滑97.749、背景一致92.627，均达到该组最好或接近最好。动态程度98.750与最高结果并列，说明它没有为了稳定画面而把运动压成静态。

相机控制方面，平移误差为0.068622，旋转误差为2.8326度。与综合评分第二高的方案相比，平移误差接近，但旋转误差进一步降低；与部分视觉效果不错的方案相比，镜头跟随更准确。

图像指标同样有竞争力：峰值信噪比23.1511、结构相似度0.787205、感知距离0.121664。最后一项越低越好，与表中最佳值只相差极小。这说明统一视觉证据没有只改善相机控制，也保住了源视频内容的像素和感知相似性。

不过，85.192不是“世界理解正确率”，2.8326度也不是所有场景下的绝对误差保证。它们来自论文规定的数据、相机轨迹和估计流程。更稳妥的结论是：在同一评测设置和六个对比方案中，这套方法同时取得最好的综合视频分与最低旋转误差。

八、消融实验揭示：最不能删的是目标视角投影

完整方法在公开视频分割测试集的消融设置中，旋转误差为1.7823度，平移误差为0.053291。去掉目标视角投影后，两项误差分别恶化到6.1158度和0.581847，约扩大3.4倍与10.9倍，主体一致、背景一致、平滑度和闪烁指标也同步下降。

这个结果解释了整篇论文最关键的工程事实：模型再会生成，也需要一张明确的空间施工图。源视频只能告诉它“有什么”，相机参数只告诉它“准备往哪里看”，目标视角投影才把二者连成“这些内容在新画面里应该放在哪里”。

分别去掉对应关系路由或证据强度调节，数值下降没有去掉投影那么剧烈，但定性图中人物外观和背景结构更容易漂移。二者属于“把已有证据读对、用稳”的部件，而投影本身决定有没有清晰空间参考。

几何证据和历史检索则解决两种特定失败：镜头转到人物背后时，新表面没有来源；镜头长时间离开再返回时，旧状态已经离开短期缓存。它们的价值不一定在平均分上最醒目，却直接决定系统能否做大角度和长时程探索。

九、同一个接口，还能做子弹时间、编辑和跨模型记忆

当控制被统一成视觉证据后，应用不再局限于相机重拍。论文展示了子弹时间、视频稳定、视频编辑、人体动作迁移，以及两个相同冻结模型实例之间共享视觉记忆。

子弹时间改变相机与事件时间的对应关系：事件可以近似暂停，镜头继续绕行。视频稳定则把抖动输入的内容作为外观与事件参考，再指定更平滑的目标相机路径。视频编辑可以把修改后的局部外观作为新证据，同时保留原视频运动和场景关系。

跨模型共享更有想象力。两个相同骨干分别生成不同案例，其中一个实例把缓存中的视觉特征交给另一个实例，后者像读取外部记忆一样继续生成。这里共享的不是一句文本提示，而是注意力可以直接使用的视觉状态。

统一接口真正带来的收益，不是把五个演示塞进一个项目页，而是新控制可以先尝试“构造证据”，不必第一时间“训练新模型”。对研究团队而言，这会明显缩短想法验证周期。

图3：统一视觉证据接口的扩展应用，包括子弹时间、视频稳定、视频编辑、生成实例之间共享视觉状态，以及人体动作迁移。各任务改变的是证据内容、相机或时间关系，冻结的视频世界模型保持不变。来源：论文图4。

十、与相近路线相比，它补上了哪一环

任意相机重拍方案同样关注镜头路径控制，优势是把相机条件放在核心位置；世界中世界方法更进一步，把源视频、目标投影、几何和历史都放入统一视觉证据接口，并用对应关系约束注意力读取位置。论文表中，前者旋转误差为3.1868度，本文方法为2.8326度，同时图像相似指标提升明显。

大基线新视角方案在图像感知距离上与本文方法几乎持平，平移误差也非常接近。本文方法的差异不是简单宣称“画面全面碾压”，而是在七维视频综合分和旋转控制上占优，并加入滚动缓存之外的历史检索与多类证据调度。

可编程世界模型更强调显式、可编程状态对世界生成的控制。本文则选择另一条路径：不要求世界先被完整写成符号程序，而是让各种控制先变成带时空标签的视觉状态。前者适合规则清晰、状态可表达的任务，后者更贴近复杂真实视频中的纹理、人物与动态事件。

把近期对象槽世界模型放在一起看，也能看到两种互补思路：对象槽努力把世界压成可预测的结构化单元；本文方法不重新学习表示，而是让已有大模型读取外部视觉证据。一个更像打造新的内部语言，一个更像给现有大脑接入有坐标的资料库。

十一、工程上最吸引人的，是“控制插件化”

很多控制方法的开发成本来自数据与训练。新增一种控制，就要收集对应数据、设计条件编码、微调模型，再检查是否破坏原有能力。本文给出的替代思路是：只要新信息能转换成视觉状态，并标清相机、时间和有效区域，就可能通过相同接口接入。

例如，未来可以把多相机观测、机器人第一视角、三维地图渲染、模拟器状态或人工编辑关键帧都整理成证据。真正需要研究的重点会从“再训练一个大模型”，转向“怎样构造可靠证据、怎样判断有效范围、怎样处理冲突”。

这与软件工程里的插件接口很像。稳定骨干提供通用能力，新插件遵守统一协议，负责准备输入而不改核心系统。好处是迭代快、不同控制可以组合；风险则是接口背后的大模型并不会自动理解错误证据，一旦深度、相机或历史检索出错，错误也会被高效送进生成过程。

这篇工作的长期价值，可能不只是一项视频重拍指标，而是展示了冻结生成骨干如何获得可组合的外部控制。如果这种范式成立，很多世界模型产品的差异将来自证据系统，而不只是底座参数规模。

十二、代价与限制：无需训练，不等于便宜或完整开源

首先，计算门槛依然很高。官方代码说明，当前测试需要一张80GB显存的A100级显卡，峰值显存约72GB；14B骨干加载约需5至20分钟，生成15个、每个16帧的视频块约需5分钟。普通消费级显卡很难直接复现完整流程。

其次，当前代码只覆盖论文能力的一部分。官方仓库已经提供自由机位重拍、子弹时间和视频编辑入口，但几何证据、长历史检索等完整能力仍按项目路线逐步开放。读者可以检查核心思路和已发布路径，却不能把论文所有演示都视为已经一键复现。

第三，系统依赖深度、相机估计和点对应。透明物体、镜面、快速运动、强遮挡和重复纹理会让这些前置结果变差。几何证据若给错身体表面，路由机制反而可能更坚定地读取错误位置；长期历史中保存了早期生成瑕疵，也可能在重访时把瑕疵恢复出来。

第四，论文评测聚焦给定视频的相机控制重拍。它说明方法能更好地沿新视角观察同一事件，但不等于模型获得了可用于物理决策的完整三维世界，也不等于生成内容可以替代真实拍摄。影视预演、交互内容和研究原型是自然场景；高风险仿真和机器人决策仍需要更严格的几何与因果验证。

十三、龙哥点评：下一轮竞争，可能是谁更会组织证据

龙哥喜欢这篇工作的地方，不是“无需训练”四个字，而是它对系统分工的判断很清楚。骨干模型负责视觉先验和生成能力，外部模块负责把事实整理成可读取证据，路由模块负责找位置，强度模块负责防止证据压过模型。每一部分都在解决一个具体失败，而不是为了新名词再堆一层网络。

它也提醒我们，世界模型不应只看画面是否逼真。一个模型可以生成极漂亮的视频，却没有按指定相机运动，也无法在绕一圈后保持同一间房。真正可交互的世界，需要持续回答“我在哪里、现在是什么时刻、这个表面之前长什么样”。

对研究者而言，最值得复用的是统一证据接口与“位置、强度分开控制”的思想。对产品团队而言，更现实的问题是证据生成质量、显存和延迟。骨干冻结可以省掉训练，却不自动消除深度估计、几何渲染、历史检索和大模型推理的成本。

因此，龙哥的判断是：世界中世界方法不是把任意视频立即变成可靠三维世界的终点，但它很可能代表一种更经济的控制路线——先让大模型学会通用生成，再用结构化视觉证据把能力引到具体任务。

十四、龙迷三问

1. 这和普通的视频转三维有什么区别？

普通视频转三维更关注恢复一个静态或动态表示，再从附近视角渲染。本文方法把问题放进因果视频世界模型中，不要求先得到完整精确三维，而是用源视频、投影、几何和历史共同约束生成。它尤其关注大视角变化、事件同步和长时间重访。

2. “无需训练”是不是意味着拿来就能跑？

不是。它表示不需要为这些控制任务更新世界模型参数，但仍要准备骨干权重、估计深度与相机、构造证据、管理缓存并完成较重推理。当前官方配置显存要求高，代码也只开放了部分论文能力，更适合具备高端算力的研究和制作团队。

3. 这条路线最可能先在哪里落地？

短期更适合虚拟制片、镜头预演、视频稳定、创意编辑和交互内容，因为这些场景允许生成模型对未观察区域做合理补全。若用于机器人训练或安全仿真，还需要更可靠的三维几何、动作因果和错误检测，不能只凭画面连贯就认定世界状态正确。

十五、总结

World in World把一段视频变成可以重新探索的动态世界。它不为相机控制、几何补全、历史记忆和视频编辑分别训练新模型，而是把各种条件整理成带相机、时间与有效区域的视觉证据，让冻结世界模型通过原生注意力读取。

四类证据各自解决外观、位置、新表面和长期记忆；对应关系路由决定去哪里找，证据强度调节决定相信多少。实验中，它在六个对比方案里取得最高七维视频综合分85.192和最低旋转误差2.8326度，消融结果则说明目标视角投影是准确相机控制的关键。

这篇论文给出的启发很明确：大模型能力越来越强以后，控制不一定都要通过重新训练完成。把事实变成模型熟悉的证据，把证据送到正确位置，再限制它的影响强度，也可能成为世界模型走向可控、可组合应用的重要路径。

本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。