← 返回 PaperDaily
视觉与图像
首尔大学提出Robot-Rendering：让世界模型直接"看到"机器人动作，告别动作编码！
机器人世界模型怎么喂动作？直接喂控制信号？还得自己学动作实现。首尔大学这招妙：先把动作在仿真里走一遍，渲染成机器人几何和深度，然后把"这堆像素"喂给视频模型。模型直接"看见"机器人怎么动，只负责学场景怎么响应。效果嘛——比喂状态向量强一截，还能直接泛化到没见过的机械臂和人类演示。
龙哥读论文
阅读 3
查看原文
原论文信息如下：
好的，龙哥这就为你安排这篇关于机器人世界模型的开创性工作。直接进入正题，不废话。
想象一下，你有一个超级智能的AI，给它一张桌子、几个积木的初始照片，然后告诉它“请把红色积木搭在蓝色积木上”。它需要做的，就是在脑子里“脑补”出未来几秒的视频：机器人的手臂伸过来，稳稳抓住积木，然后把它叠放在另一个上。这，就是机器人“世界模型”的终极梦想。
但问题来了，这个能预测未来的视频模型，它该怎么知道机器人“要做什么”呢？给它一串编号（关节角度、位置向量）？这就像是跟一个不懂技术的人说“把第3个执行器旋转15度”——他完全不知道这会导致什么物理结果。模型得自己先学会“这些编号对应着机器人的哪个部位在动”，然后再去学“动完之后场景怎么变”。这个学习过程，其实是把“动作实现”这件不该由模型操心的事，强塞给了它。
首尔大学的研究团队看穿了这点，直接提出一个颠覆性思路：把“动作”从抽象的编号，直接渲染成看得见、摸得着的“机器人轮廓”和“深度图”，喂给视频模型。这就像把“告诉机器人做什么”变成了“展示给模型看机器人在做什么”。模型只需要基于这个看得见的“提示”，去预测物体怎么被推、被拉、被拿起来就行了。这不就简单太多了？
不仅如此，这个“看得见的提示”还异常聪明，它只用“意图”没有“结果”的信息，让模型的预测真正有意义。而且，因为提示是视觉化的，换一个完全不同型号的机器人，只要把它也渲染成同样的几何轮廓，模型照样能理解！这简直是机器人世界模型领域的一次“认知升级”。
机器人世界模型的动作表示困境
要理解本文的价值，先得搞明白一个问题：为什么给机器人世界模型“喂动作”这么讲究？
所谓的“动作条件视频世界模型”，输入是一个起始画面和一组动作指令，输出是未来一段视频。机器人控制着它的关节，发出电信号，机械臂开始移动，然后碰触到物体，物体随之运动。整个过程可以拆解为两个阶段：
1. 动作实现：给你的原始动作指令，比如“关节转到30度”，经过机器人自身的控制器、物理限位、电机响应，最终变成机械臂实际的末端位置和姿态。这个过程是机器人特有的，和场景无关。
2. 场景响应：机器人动起来之后，它的“身体”和物体发生接触，从而把物体推开、抓起、或者造成遮挡变化。这是任何世界模型都应该去预测的核心部分。
传统的做法（比如Ctrl-World [4]），是直接把原始动作指令或状态向量作为条件送进模型。这迫使模型必须在内部学会“如何从抽象指令推导出机器人运动轨迹”这个本身就很复杂的映射关系。更糟的是，如果换一个机器人，所有关节的物理参数都变了，模型就得从头再学。
另一类方法，比如Visual Action Prompts (VAP) [8] ，尝试把机器人状态序列（比如过去几帧的实际位置）直接渲染到画面上作为提示。这虽然“视觉化”了，但问题在于：这些“真实状态”已经是交互发生的结果了。你把一个“已经拿起物体”的机器人状态渲染给模型，那模型还预测什么？它直接照着这个“作弊提示”把物体画在空中就行了。这相当于考试时把答案写在题目旁边，完全失去了预测的意义。
本文的核心思想，用一个概念来概括：“机器人分解”。它把世界模型的学习任务，一分为二。
与其让模型去学“动作实现”和“场景响应”两个任务，不如把第一个任务直接剥离出来，用已知的、确定性的机器人学知识（正向运动学、控制器模型）去处理。模型只负责第二个任务：在“看到机器人动起来”的基础上，预测“场景怎么变”。
方法：通过机器人渲染分解动作实现
这篇论文提出了一个被称为“机器人分解世界模型”的框架，其核心是构建一个全新的、共享的视觉接口。整个流程可以总结为下图：
流程清晰明了：首先生成一个名义轨迹——一个假设没有物体接触时，机器人会走的路径。然后，通过机器人的URDF模型，把这个轨迹渲染成一系列视频帧：包括机器人的轮廓图（RGB Mesh）和末端执行器的深度图（EEF Depth）。这个渲染过程完全基于机器人自身的几何模型和运动学，不依赖任何场景信息。渲染得到的视频帧与初始场景的RGB-D图像一起，作为条件输入到视频扩散模型中。模型的任务就是基于这些条件，生成未来时刻的完整场景视频。
这里的关键在于，渲染得到的“机器人几何”视频只包含了机器人的运动意图，而没有包含任何交互结果。例如，如果机器人要去抓取一个杯子，名义轨迹会显示夹爪移动到杯子所在位置并闭合，但夹爪是否真的抓住了杯子、杯子是否被提起，这些信息完全不会出现在渲染结果中。模型必须自己从初始场景中推断出这些交互结果，这正是世界模型应该具备的能力。
从模块间的关系来看，整个框架可以分解为三个主要部分：动作到名义轨迹的映射模块、名义轨迹到视觉渲染的渲染模块、以及基于视觉条件的视频预测模块。前两个模块是完全确定性的，不涉及任何学习过程，它们的作用是将抽象的、机器人特定的动作信号转化为通用的、视觉化的条件信号。第三个模块则是整个框架中唯一需要学习的部分，它接收视觉条件并预测未来视频。
这种模块化设计的优势在于，前两个模块可以针对不同的机器人进行独立替换，而视频预测模块则可以保持通用。这意味着，只要为每个机器人提供其URDF模型和运动学参数，就可以将其纳入同一个世界模型框架中，而无需重新训练视频预测模块。
名义轨迹：连接动作与交互的桥梁
“名义轨迹”是本文的核心概念。简单来说，就是把原始动作指令，通过机器人的控制器和运动学模型，先“虚拟地走一遍”，得到一个完全基于机器人自身物理特性的轨迹。这个轨迹是不包含任何物体交互信息的纯运动轨迹。
这完美地解决了“信息泄露”问题。来看下面这张图，能让你秒懂为什么“名义轨迹”是最佳选择：
- 动作-实现差距：这是控制器动力学造成的差异。你给指令“走”，控制器要应对惯性和限制，最终实际走的轨迹和理论指令之间有微小的偏差。这是机器人特有的。
- 名义-实现差距：这是场景交互造成的差异。如果机器人碰到了物体，它的真实轨迹会因为反作用力、摩擦、抓取成功/失败而偏离名义轨迹。这恰恰是世界模型应该去预测的核心。
使用名义轨迹，模型看到的是“机器人本来想怎么动”，然后预测“因为物体交互，它实际上会怎么动，以及场景会变成什么样”。它既避免了需要学习机器人控制器（解决了动作-实现差距），又没有直接告诉模型“抓取成功了”（避免了信息泄露，保留了名义-实现差距作为预测任务）。
这个处理过程，论文中用一个操作符 （读作“Phi R”）来表示，它把原始动作序列映射成名义轨迹序列。具体来说，给定一个动作序列 a_{1:T}，其中每个 a_t 可以是关节角度、末端执行器位姿或其他控制信号，Phi R 首先通过机器人的正向运动学模型计算出每个时刻的名义关节状态 q_t，然后通过控制器模型（如PD控制器或轨迹跟踪控制器）生成平滑的名义轨迹 tau_t。整个过程不需要任何场景信息，只依赖于机器人的自身模型。
然后，另一个操作符 （读作“Pi R”）把名义轨迹和URDF模型，沿着目标相机的轨迹，渲染成两样东西：机器人的网格RGB视频和末端执行器的深度序列。渲染过程使用标准的计算机图形学管线，包括顶点变换、光栅化和深度缓冲，确保生成的图像与真实相机视角一致。值得注意的是，渲染时只渲染机器人本身，不渲染任何场景物体，因此得到的图像中只有机器人的轮廓，背景是透明的。
这就将原本抽象的、与机器人型号绑定的动作指令，转化成了一个通用的、与场景融为一体的视觉提示。更重要的是，这个视觉提示是“干净”的——它只包含机器人的运动意图，不包含任何交互结果，从而迫使模型真正学习场景的物理响应。
深度感知的渲染接口设计
光有RGB轮廓还不够。如果只看平面图像，你很容易被误导。比如，机器人的夹爪在图像上看起来和杯子重叠了，它到底是还没碰到杯子（平面重叠），还是已经抓住了它（三维接触）？单靠RGB图像，模型很难区分。
1. 静态场景上下文：提供初始静态场景的RGB和深度图。这告诉模型“场景长什么样”以及“物体在3D空间中的位置”。静态场景上下文是整个预测的锚点，模型需要基于这个初始状态来推断后续的变化。在训练时，这个上下文来自数据集的初始帧；在推理时，它来自真实传感器的观测。
2. 渲染的机器人几何：提供了机器人在图像平面上的位置（RGB）和它在空间中的深度信息。这个渲染结果包含了机器人整个身体的几何信息，包括基座、连杆和末端执行器。通过RGB通道，模型可以知道机器人在图像中的位置和姿态；通过深度通道，模型可以知道机器人各部分的3D空间位置。
3. 末端执行器-场景深度对：这是点睛之笔。我们不仅渲染了机器人整体的网格，还额外提供了一个末端执行器的专用深度图。之所以只聚焦末端，是因为交互主要发生在这里。模型可以比较“末端执行器的深度”和“场景中物体的深度”。当二者深度值非常接近时，模型就知道，很可能发生触碰了！这给了模型一个非常明确的几何线索，去推断接触、遮挡和交互结果。具体来说，末端执行器深度图只渲染夹爪或手部区域，而场景深度图则来自初始观测。模型通过比较这两个深度图，可以判断末端执行器是否已经接近或接触到了物体。
整个接口，包括机器人RGB几何、末端深度、场景深度，都会被编码器（一个预训练的视频VAE，Video Variational Autoencoder）统一编码，然后和噪声视频潜变量拼接在一起，输入到视频扩散模型（Video Diffusion Model）中。模型的任务就是学习去噪，最终生成一个符合这些条件的未来视频帧。编码器将多通道输入压缩为紧凑的潜表示，扩散模型则在潜空间中逐步去噪，生成与条件一致的视频帧。
这种设计的一个关键优势是，它允许模型在推理时利用深度信息来推断接触状态。例如，如果末端执行器的深度值在某个像素位置小于场景中物体的深度值，模型就知道末端执行器已经穿过了物体表面，这意味着要么发生了接触，要么物体被推开了。这种几何推理能力是纯RGB方法所不具备的。
实验：泛化到未见机器人与人类演示
纸上谈兵没有意义。我们来看看实验结果，这才能说明一切。
首先，在与基线方法的定量对比中，本文的“渲染接口”完胜：
表1：主要动作接口对比。每个主干模型单元格列出了模型、训练分辨率和训练数据（D+R：DROID+RoboCasa-GR1）。SVD 1.5B仅在DROID上训练，因此未在RoboCasa-GR1上评估（以短横线表示）；由于较低的分辨率会抬高重建指标，因此仅在同一主干模型内部进行比较。DROID和RoboCasa-GR1分别报告而非取平均；每个主干模型的最佳结果以粗体显示。
可以看到，无论是基于Stable Video Diffusion (SVD) 还是Wan2.1架构，本文的方法在PSNR、SSIM、LPIPS这三大视频预测/生成指标上，都显著超过了基于向量条件（AdaLN）或姿态条件（Ctrl-World）的基线方法。例如，在SVD 1.5B主干上，本文方法在DROID数据集上的PSNR达到24.12，而AdaLN只有22.87，Ctrl-World只有22.95。在Wan2.1 1.3B主干上，本文方法在DROID上的PSNR达到24.58，同样显著优于基线。这些提升在统计上都是显著的，且在不同数据集上一致。
更关键的是消融实验，它验证了每个设计环节的必要性：
可以看出：
- 仅仅从“原始动作渲染”切换到“名义轨迹渲染”，所有指标都有提升。例如，PSNR从23.82提升到23.97，SSIM从0.909提升到0.912。这说明单纯地把动作“视觉化”还不够，消除信息泄露带来的收益是实实在在的。
- 在“名义轨迹”基础上加入“末端+场景深度”，性能进一步提升，PSNR从23.97提升到24.12，SSIM从0.912提升到0.915。这证明了深度感知对于正确解析3D空间关系的重要性。
- 进一步加入“名义轨迹深度”后，性能略有下降（PSNR降至24.08），说明过多的深度信息可能会引入冗余或噪声，而聚焦于末端执行器的深度是最有效的。
消融实验还验证了“名义轨迹”相对于“真实轨迹”的优势。当使用真实轨迹（即实际执行后的轨迹）进行渲染时，PSNR反而下降到23.82，与原始动作渲染相当。这是因为真实轨迹包含了交互结果的信息，相当于给模型“作弊”，导致模型无法真正学习场景响应。这进一步证明了名义轨迹设计的必要性。
定量指标之外，定性的对比更能说明问题。下图直观展示了本文方法与其他方法的差距：
从图3可以清晰看到，当模型接收到正确的“名义轨迹+深度”渲染图时（Ours行），它能精准地预测出抓取、拿起等动作，而基线方法（AdaLN ）要么完全忽略了机器人动作，要么生成的视频里，机器人根本没动到物体。例如，在“拿起杯子”的任务中，本文方法生成的视频中杯子被正确提起，而基线方法生成的视频中杯子仍然停留在桌面上。在“推动方块”的任务中，本文方法准确预测了方块被推动后的位置，而基线方法要么没有移动方块，要么移动的方向和距离都不正确。
更重要的是泛化能力的验证。本文展示了两个令人印象深刻的场景：
论文在HRDexDB数据集上测试，这个数据集使用的是与训练数据完全不同的xArm 6机械臂和Inspire F1手爪。模型从未见过它们！但因为它接收的是渲染后的“通用机器人几何”，而不是与特定机器人绑定的“状态向量”，所以模型能够直接理解并预测这个新机械臂的动作。这就是“接口共享”的力量。在HRDexDB上的定量结果同样优于基线方法，PSNR达到23.89，而AdaLN只有22.45，Ctrl-World只有22.51。
更令人拍案叫绝的是，论文甚至演示了零样本的多臂推理：
在这个实验中，模型在训练时只见过单臂场景，但在推理时却能够处理双臂同时运动的场景。模型正确地预测了两个机械臂各自的运动轨迹以及它们与物体的交互，尽管它从未在训练中见过两个机器人同时出现。这充分证明了视觉接口的通用性和模型的泛化能力。
这意味着，我们可以直接用手部动捕数据，经过“重定位”（retargeting），把人类的手部运动映射到机器人的末端执行器上，然后渲染成机器人几何。这个渲染结果，可以直接输入给同一个、只在机器人数据上训练过的世界模型，从而生成一个“机器人在做类似人类动作”的视频。
这个应用的价值巨大，因为它打破了数据壁垒。模型可以通过观察海量的人类视频（如DexYCB数据集）来学习交互规律，然后“翻译”给机器人。这为利用互联网规模的视频数据来训练机器人模型，开辟了一条崭新的道路。具体来说，论文使用DexYCB数据集中的手部动捕数据，通过重定位算法将手部运动映射到机器人夹爪的运动，然后渲染成机器人几何。这个渲染结果与真实机器人数据具有相同的格式，因此可以直接输入给世界模型。实验结果显示，模型能够成功预测出机器人在执行类似人类动作时的场景变化，尽管它从未在训练中见过人类数据。
总结与局限
首尔大学的这项工作，巧妙地利用了“渲染”这个技术，把“动作实现”这个费力不讨好的任务从世界模型身上剥离了。它通过构建一个“名义轨迹+深度图”的视觉接口，让模型只专注于“场景响应”这个核心预测任务。实验证明，这不仅比传统的向量/姿态条件强出一大截，还天然具了跨本体、跨数据源的泛化能力。
1. 依赖已知的URDF和标定：方法要求知道每个机器人的URDF模型，并且相机和机器人之间的坐标关系必须是已知且标定好的。这在实验室环境没问题，但如果面对一个从未见过的机器人，就需要额外处理，泛化不是100%无成本的。例如，在野外环境中，机器人的URDF可能不可用，或者相机标定参数不准确，这都会影响渲染的精度。
2. 动态场景的局限性：该方法的“静态上下文”假设相机和场景背景不变。虽然考虑了动相机，但假设有可用的“静态场景表示”（比如3D重建结果）。在真实世界，无法在动相机时获取完整的静态场景，这需要额外的重建模型介入，会引入新的挑战。例如，如果相机在移动，初始场景的深度图可能与后续帧的视角不一致，导致模型难以准确推断3D空间关系。
3. 数据偏差：论文使用的DROID数据集绝大多数是成功操作。如果遇到抓取失败、物体滑落等失败数据，模型可能无法很好地泛化。不过，这也指明了未来工作的一个改进方向：加入更多的失败案例数据。此外，模型在预测长时间序列时可能会出现累积误差，这也是视频预测领域的普遍问题。
4. 计算开销：虽然渲染过程本身是轻量级的，但运行大型视频扩散模型需要较大的显存和计算资源。这可能会限制其在资源受限的机器人平台上的部署。
龙迷三问
1. 什么是“名义轨迹”？为什么它这么重要？简单来说，名义轨迹是“假设没有物体时，机器人会走的轨迹”。例如，如果你给机器人下达“移动到A点”的指令，它的控制器会让机械臂沿着一条平滑的曲线移动。把这个“平滑曲线”记录下来，就是名义轨迹。它的重要性在于，它包含了机器人的“意图”（想去哪里），又没有包含“结果”（有没有碰到东西）。这让模型可以做一个纯粹的“场景预测”，而不是“抄答案”。更具体地说，名义轨迹是通过机器人的正向运动学和控制器模型计算得到的，它只依赖于机器人自身的物理特性，与场景中的物体无关。因此，它既避免了模型需要学习机器人控制器的负担，又防止了信息泄露，迫使模型真正学习场景的物理响应。
2. 这个方法为什么能泛化到没见过的机器人？因为世界模型看到的永远是一张渲染好的“机器人图像和深度图”，而不是抽象的“7维关节角度向量”。对于模型来说，无论你给它一个黑色Franka Panda手臂的渲染图，还是一个白色xArm 6手臂的渲染图，它看到的本质都是“一个可以移动、可以抓取的几何体在动”。只要这个几何体的基本物理规则（比如需要靠近物体才能抓取）不变，模型就能理解。这就像你学会了开车，换一辆车开，看到的是不同的方向盘和仪表盘（不同的UI），但你依然知道怎么开。关键在于，渲染过程将不同机器人的几何差异归一化了，模型只需要学习“几何体运动如何影响场景”这个通用规律。
3. 这个方法在训练和推理时有什么不同？训练时，世界模型会看到真实的、有交互的未来视频作为学习目标，同时看到由名义轨迹渲染成的几何图作为条件。模型需要学习从条件到目标的映射，即如何根据名义轨迹和初始场景预测真实的未来视频。推理时，模型只收到名义轨迹渲染图，然后自己“脑补”出未来视频。这个未来视频可能会因为名义轨迹的差异而不同（抓取成功vs失败），这正是模型需要学习的“场景响应”能力。值得注意的是，训练时使用的名义轨迹是从真实动作中计算得到的，而推理时使用的名义轨迹可以是任意规划的动作序列。因此，模型可以用于评估不同动作序列的效果，从而实现“在想象中规划”。
如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~
龙哥点评
论文创新性分数：★★★★★将“动作实现”从世界模型中显式分解出来，并利用“名义轨迹渲染”构建共享视觉接口，这个思路清晰、优雅且极具实用性，堪称机器人世界模型领域的一个范式转变。
实验合理度：★★★★★实验设计非常严谨，不仅有多个数据集的定量对比，还特别设计了消融研究来验证每个设计模块的有效性。更重要的是，通过“泛化到新机器人”和“人类视频重定位”两个实验，完美展示了方法的实际价值。说服力极强。
学术研究价值：★★★★★极高。它为解决机器人世界模型领域长期存在的“动作表示”问题，提供了一个非常优雅且有效的通用范式，未来其他机器人学习任务（如策略学习、模仿学习）都可以借鉴和采用。
稳定性：★★★☆☆论文实验均基于控制好的实验室环境和仿真数据集。在实际的、充满噪声的场景中，相机的标定误差、URDF模型的不精确、控制器延迟等，都会影响名义轨迹的精度，从而影响最终效果。稳定性在真实世界中还有待验证。
适应性以及泛化能力：★★★★★方法在“跨本体泛化”和“人类数据输入”上表现惊艳，这是其最大的亮点。只要你能给出一个机器人的URDF和运动学模型，它就能被该框架消费。适应性潜力巨大。
硬件需求及成本：★★★☆☆需要额外的预计算步骤（名义轨迹生成和渲染），并且需要较大的显存来运行视频扩散模型。不过，推理时的渲染本身是轻量级的。主要的硬件成本在于运行大型视频生成模型。
复现难度：★★★★☆论文方法清晰，虽然目前可能还未完全开源，但利用现有的渲染工具（Isaac Lab）和扩散模型（Wan, SVD）进行复现是可行的。核心难点在于数据处理和“名义化”流程的设置，需要一定的工程工作量。
产品化成熟度：★★☆☆☆目前仍是研究阶段。虽然想法很有价值，但要真正部署到实际机器人上，还需要解决环境干扰、系统鲁棒性等问题。它更可能作为未来产品中的一个“核心组件”，
