论文标题:
DWM: Separating World Effects from Actions in Latent World Models
发表日期:
2026年07月
发表单位:
Peking University
原文链接:
https://arxiv.org/pdf/2607.16929v1.pdf
训练信号一刀切？揭示世界模型在物理世界中的“幻觉”
世界模型最容易翻车的地方，不是“看不见”，而是“看见了却分不清”。环境自己在动，动作也在改变量，最后全塞进一个下一时刻目标里，模型学到的往往不是物理规律，而是一锅糊掉的因果汤。DWM这篇论文盯住的就是这个老毛病：把环境自己会发生的变化，和动作带来的变化分开学。思路不花哨，但很实在，属于那种“训练时多想一步，推理时少挨一刀”的设计。这篇工作来自北京大学，核心问题非常明确：在有持续“世界效应”的控制任务里，传统潜在世界模型把一切变化都压进一个单一监督目标，导致模型既说不清“谁在推动变化”，也学不稳“环境自己会怎么变”。论文把这种麻烦称为世界/动作纠缠（world/action entanglement），听上去像术语，实际上就是一句大白话：模型分不清到底是人推的，还是地球在拽的。图1：PushT-W上的世界/动作纠缠示意图。灰色 T 是当前方块，绿色 T 是目标位置，蓝色圆点是执行动作的推手；左上角的 g 表示持续重力方向。上排显示零动作滚动：即使不推，方块也会沿重力方向滑动，这就是动作不变的世界效应。中排是单头基线 LeWM，把动作变化和世界变化混成一个目标，结果滑动没学对。下排是 DWM，把两类变化拆开后，既能恢复重力滑动，也能保住推手带来的变化，轨迹重新贴回目标。
把“天灾”和“人祸”分开：DWM的分解式训练框架
先把概念讲人话。潜在世界模型的基本套路，是先把图像压成一个 latent（潜变量），再预测下一时刻的 latent，而不是直接预测像素。这样做的好处很现实：更省算力，也更适合规划。但问题也很现实：如果下一时刻的变化里同时混着“动作造成的变化”和“环境自己会发生的变化”，单一监督信号就会把两者一起学，模型很容易把因果边界学糊。DWM 的办法不是改骨架，而是改监督。原来的预测头仍然保留，推理时也照旧使用；额外加一个训练期才出现的 world head，用来专门学习“如果当前动作换成零动作，世界还会怎样变化”。这个 world head 不是摆设，它被要求对动作扰动保持稳定，同时又不能塌缩成常数。与之配套，原来的预测结果减去 world head，就得到剩下的 action-driven component，也就是动作驱动部分。这样一来，模型内部就形成了一个很自然的加法分解：世界自己会发生的变化 + 动作带来的补充变化。图2：DWM 架构图。上路是原始 LeWM：当前观测先经编码器 φ 变成 z，动作 a 进入预测器 g 得到中间状态 r，再由预测头 h
输出下一时刻 latent。下路是训练时新增的 world head h，它和预测头共享同一个 r，但被专门约束成对动作不敏感。两条辅助约束分别是世界对比损失 L 和正交约束 L：前者逼 world head 对动作扰动保持稳定，后者逼 world head 与动作残差方向不同。推理时橙色分支直接扔掉，系统退化回原来的 LeWM，不额外增加部署负担。
表5：本文使用的控制任务与 W 变体设置。PushT-W、Reacher-W 和 TwoRoom-W 分别在原任务上加入持续的动作不变世界效应：重力滑动、垂直平面重力、持续环境漂移；对应的 flat 版本则去掉这类效应，只保留原始目标。Ball-in-Cup 作为额外的更复杂任务，用来测试方法在更接近真实动力学时是否还站得住。这里最值得一提的是两个辅助项的分工。世界对比损失（world-contrastive loss，L）本质上是一个 InfoNCE 风格的对比学习目标，InfoNCE 是 Noise Contrastive Estimation 的信息噪声对比估计，常见中文叫“信息噪声对比损失”，出处可追溯到 van den Oord 等人的工作，也被 Chen、He 等人的对比学习框架广泛使用。它的作用不是让 world head 变聪明，而是让它“对动作不敏感但对状态有区分度”，避免一不小心学成一个常数向量。另一个正交项 L 则要求 world 分量和动作残差方向尽量正交，意思很朴素：别抢同一份功劳，分工要干净。如果把这套逻辑换成工程语言，那就是：不改主干、不改推理路径，只在训练阶段把监督拆细。这类方法的优点很直接，改动小，兼容性高，出了问题也容易回滚；缺点也很直接，它依赖训练数据里确实存在可学习的“世界效应”，否则再好的分解目标也可能学不到东西。
不止规划提升：13.1%的成功率跃升与背后的表征分析
实验设计很讲究“对症下药”。论文没有拿一堆花里胡哨的任务凑数，而是专门构造了三个带持续世界效应的 W 变体：PushT-W、Reacher-W、TwoRoom-W。它们和原始 flat 任务共享目标，但多了一个环境自己持续变化的因素。这样一来，模型到底是在学动作控制，还是在学环境动力学，一眼就能看出来。更妙的是，论文还保留了原始 flat 版本作为对照，这就避免了“加了新约束以后，原任务也被搞坏了”的老毛病。主结果很干脆：DWM 在三个 W 变体上的 CEM 规划成功率分别从 32.0% 提升到 44.0%，从 60.0% 提升到 70.7%，从 60.0% 提升到 76.7%，平均绝对提升 13.1 个百分点。这个数字不算“改天换地”，但足够说明问题：当环境里真的存在动作不变的持续动力学时，单一目标监督会吃亏，而显式分解能把规划拉回来。更关键的是，在对应的 flat 任务上，DWM 并没有把原有性能搞崩，说明这不是靠牺牲原任务换来的“假进步”。图3：CEM 规划成功率对比。左图是三个 W 变体上的主结果，右图是对应 flat 任务上的对照。可以看到，DWM 在有世界效应时明显优于 LeWM，而在没有明显世界效应时，性能基本保持持平。这个结果说明，DWM 的收益并不是“到处加正则都能涨点分”，而是和问题本身是否存在动作不变动力学强相关。表1：解耦诊断结果。验证时固定历史、随机替换当前动作，观察两个 head 的输出变化。LeWM 只有 pred head，所以只看它的波动；DWM 里 world head 的方差和极差都远小于 pred head，说明它确实学到了动作不变部分，而不是换个名字继续重复预测头的工作。表1的意义比数字本身更重要。它证明 DWM 不是“规划分数涨了，但中间表示还是一坨”的那种装饰性方法。相反，world head 在动作扰动下几乎不动，pred head 仍保持对动作的敏感性，说明两条支路真的学出了不同职责。尤其是在 PushT-W 这类重力滑动明显的任务上，world head 的变化量比 pred head 小了好几个数量级，这种差距已经不是“略有区分”，而是“分工非常明确”。表2：潜在预测质量对比。Offline 看单步预测，Rollout@20 看 20 步自回归滚动。结果说明，DWM 在多个任务上不仅规划更稳，长时滚动也更可靠。换句话说，它不是只会在“看答案”的时候表现好，自己往前想二十步也没那么容易崩。这里还可以顺手看一下消融。论文在 PushT-W 上测试了不同的损失权重组合，结果显示，两个辅助项都不能随便删。少了 world contrastive，world head 容易不够稳定；少了 orthogonality，两个分量又容易往一起挤。这个结论其实很符合直觉：一个负责“别乱动”，一个负责“别抢活”，两者缺一不可。表3：损失权重消融。默认设置在 world contrastive 和 orthogonality 上同时给到合适权重时表现最好；把其中任意一项拿掉，成功率都会回落。这类结果很朴素，但也很说明问题：DWM 的收益不是“多加一个头就行”，而是“多加的这个头必须真的学对东西”。
不仅仅是重力：OOD泛化与更复杂的动力学
论文没有只盯着训练分布内的小修小补，还专门看了 OOD（out-of-distribution，分布外）重力设置。这里的意思很简单：训练时见过一种重力，不代表换个重力方向或强度还能稳。很多模型在训练集里像个学霸，一换考场就像忘带脑子。DWM 在这部分的表现说明，分离 world effect 和 action effect 以后，模型学到的不是某个固定场景的死记硬背，而是更接近可迁移的动力学结构。图4：OOD 重力下的规划表现。横轴是不同重力设置，纵轴是 CEM 成功率。可以看到，DWM 在训练外重力条件下仍保持更稳的规划能力，说明它对“世界自己在怎么动”这件事学得更像规律，而不是像背题。更有意思的是 Ball-in-Cup。这个任务里的世界效应不再是一个简单常数偏置，而更像摆球的自然振荡，属于状态相关、非线性的动力学。论文在这里仍然报告了收益，说明 DWM 不只是对“重力滑块”这种教科书式例子管用，对更复杂的持续动力学也有一定适应性。虽然这个结果还谈不上“全场景通吃”，但至少说明这条路不是只对一个玩具任务有效。表4：Ball-in-Cup 的规划成功率和自回归预测损失。这个任务比前面的三项更接近真实动力学，说明 DWM 的收益不只停留在“有重力的推块”，也能迁移到更复杂的控制场景里。不过论文也没有把话说满：它展示的是“有效”，不是“已经解决所有真实物理问题”。这份克制反而更可信。
能带走的研究套路：对比学习的行动不变性+正交性约束
这篇论文最值得借走的，不是某个特定任务设置，而是它处理监督信号的方式。很多模型一出问题，第一反应是“加大模型”“换 backbone”“堆更多数据”，但 DWM 选择的是更前面的层面：先问监督是不是本来就混了。如果监督目标本身把两种因果来源混成一个，那模型再大也只是在认真地学错误。DWM 的两个小技巧都很有借鉴意义。第一是把 world head 做成动作不变的对比学习目标，这比单纯做“零动作数据增强”更进一步，因为它不是只让模型见过这种样本，而是明确告诉模型“这部分应该对动作不敏感”。第二是加正交性约束，逼两个分量别学成一回事。很多解耦方法最后都死在“看起来分了，实际上还是同一坨表示”的问题上，正交项虽然不神秘，但很管用。不过也得把边界说清楚。DWM 的分解是监督层面的，不是物理层面的严格因果分离；它假设“零动作下的世界变化”是可定义、可学习的，而且训练数据里存在足够的这种结构。遇到高度耦合、强接触、剧烈非线性甚至部分可观测的真实机器人场景时，这种分解未必还能这么干净。换句话说，它是一个很聪明的训练策略，但还不是一把能通吃所有物理系统的万能钥匙。
[1] Zhang, Y.-G., Du, T., Qi, Z., Wang, Y. DWM: Separating World Effects from Actions in Latent World Models. arXiv 2026.[2] van den Oord, A., Li, Y., Vinyals, O. Representation Learning with Contrastive Predictive Coding. 2018.[3] Chen, T., Kornblith, S., Norouzi, M., Hinton, G. A Simple Framework for Contrastive Learning of Visual Representations. 2020.[4] He, K., Fan, H., Wu, Y., Xie, S., Girshick, R. Momentum Contrast for Unsupervised Visual Representation Learning. 2020.
