波恩大学机器人世界模型：每帧10个对象槽，控制成功率73%

龙哥导读

机器人世界模型常被一个直觉带着走：未来画面越逼真，机器人就越懂环境。SlotDiT给出了不同答案。它不让扩散模型在海量像素或图像压缩特征里寻找未来，而是先把每帧场景拆成10个对象槽，再预测这些对象如何随指令变化。在CLIPort上，它的视频任务完成率达到87.8%，接入逆动力学后控制成功率达到73.0%，而最强的图像压缩潜空间基线只有10.0%。更有意思的是，39帧生成只需4.18秒，相对同类基线快5.68倍。这篇工作真正值得看的是：世界模型的关键可能不是“画得多细”，而是“把什么当成世界的基本单位”。

给机器人一句“把蓝色方块放进棕色碗里”，它应该先想象什么？一种路线是生成未来视频：机械臂靠近方块、夹住、抬起、移动，再把它放下。只要每一步都能预测，控制器就可以从想象中推导动作。

问题在于，一段看起来顺滑的视频，并不一定真的完成了指令。模型可能把背景纹理画得很漂亮，却让方块在移动中变形；也可能保持画面自然，却把目标物体放错位置。对于人眼，这只是一个小瑕疵；对于机器人，任务已经失败。

最近几篇机器人世界模型都在追问类似问题：未来预测究竟应该保留什么信息？有的工作用三维点轨迹强调几何运动，有的工作用共享动作表示连接人类视频和机器人数据。SlotDiT把问题再往前推一步：与其先压缩整张画面，不如先把场景拆成对象，再让模型学习对象之间的变化。

图1：SlotDiT整体流程。左侧把参考画面解析成少量对象槽，中间的文本条件扩散Transformer预测未来对象轨迹，右侧可将对象槽解码为视频；图中还对比了像素、图像压缩特征、视觉语义特征和对象槽四种表示空间。来源：论文官方图1。

一、世界模型为什么会被“漂亮画面”带偏

主流视频世界模型通常先用视觉自编码器压缩画面。原始图像被变成较小的潜变量，扩散Transformer再在潜空间里生成未来。这条路线已经非常成熟：图像细节能被保留，生成模型也可以复用大规模视频技术。

但这种压缩主要服务于“把画面还原回来”。一张桌面图中，桌布纹理、阴影、碗的高光和机器人夹爪都占据表示容量。对视频生成而言，这些细节有助于视觉质量；对控制而言，真正决定任务成败的往往只有几个关系：哪个物体是目标、它在哪里、谁会与它接触、它最终是否到达指定区域。

这就产生了一个错位。模型在训练时努力降低重建误差，可能学会更准确地恢复背景，却没有被迫形成清晰的对象对应关系。到了长时间滚动预测，目标物体容易漂移、消失或与背景粘连。再把这样的潜变量交给控制器，控制器必须自己从混杂特征里重新找出任务相关信息。

SlotDiT选择对象中心表示。所谓对象槽，可以理解成一组可学习的“对象档案袋”。每个槽不是预先规定的类别标签，也不一定严格对应现实中的完整物体；它通过竞争式注意力，从画面特征中吸收某一组相互关联的信息。桌上的方块、碗、机械臂或局部背景，会被分配到不同槽中。

论文在主要实验中每帧只保留10个槽。相比图像压缩模型每帧数百个潜变量标记，这是一种非常激进的压缩。它主动放弃一部分细节，换取更清晰的实体分工和更低的序列长度。

这里的核心取舍不是“压得越小越好”，而是让有限容量优先保存任务会用到的对象、关系和运动。如果一个槽能持续跟踪蓝色方块，那么文本中的“蓝色方块”、视频中的运动和控制器要操作的目标，就有机会落到同一份表示上。

二、第一阶段：先把每帧拆成对象槽

SlotDiT的训练分成两个阶段。第一阶段只负责学习表示，不预测未来。输入视频帧先经过冻结的自监督视觉编码器（DINOv2），得到带有语义信息的图像块特征。冻结意味着这部分不会被当前任务重新训练，模型直接利用已有视觉表征作为稳定底座。

接下来是槽注意力模块。它初始化固定数量的槽，让这些槽反复读取全部图像块。每轮更新中，不同槽会竞争同一块视觉信息：如果某些图像块在外观、位置和语义上更接近，它们更可能被同一个槽吸收。经过多次迭代，一张图被整理成一组紧凑向量。

为了避免槽只记住抽象语义却无法还原场景，论文同时训练两类重建。第一类重建DINOv2特征，要求槽保留高层结构；第二类重建原始图像，要求它仍能表达颜色、位置和基本外观。两个目标共同约束对象分解。

解码时，每个槽先独立生成一幅候选图像和一张透明度掩码，所有候选再按掩码加权合成完整画面。这个设计迫使槽承担不同区域，而不是所有槽都复制整张图。读者可以把它想成十位分工不同的画师：每个人负责自己理解的一部分，最后叠成完整场景。

图2：SlotDiT两阶段训练。上半部分用冻结的DINOv2提取特征，经槽注意力得到对象槽，并同时重建特征和图像；下半部分冻结槽编码器，让带噪的未来槽与文本条件进入扩散Transformer。来源：论文官方图2。

图2上半部分最值得注意的是“先学表示，再学动力学”。如果两部分一起训练，未来预测损失可能推动槽寻找捷径，例如把多个对象混进一个槽，只要短期内能降低误差即可。先完成对象分解，再冻结编码器，相当于先规定世界模型使用哪种语言，然后才让它学习这门语言中的时间变化。

当然，固定10个槽并不等于模型真的识别出10个现实物体。槽是任务驱动的潜变量，可能把一个复杂物体拆成多个部分，也可能让背景占据若干槽。论文强调的是对象中心结构带来的归纳偏置，而不是宣称获得了完美、可解释的实例分割。

三、第二阶段：扩散模型预测的不是像素，而是对象轨迹

表示学好以后，第二阶段开始预测未来。模型拿到第一帧或一小段上下文的对象槽，再读取自然语言指令，例如“把红色方块推到蓝色区域”。文本由语言编码器变成条件向量，未来对象槽则从噪声开始逐步去噪。

与一次生成整段未来不同，SlotDiT采用自回归方式。模型先生成下一帧的槽，再把预测结果加入上下文，继续生成后续帧。这样做容易扩展到不同长度，但也带来常见风险：前面一帧的小错误，会进入下一步输入并持续积累。

扩散过程也有一个针对视频的细节：不同未来帧可以拥有不同噪声等级。模型不仅知道当前槽有多“脏”，还知道每帧分别处于哪个去噪阶段。噪声等级通过自适应层归一化注入Transformer，使同一个网络能处理从接近纯噪声到接近干净对象槽的多种状态。

在Transformer内部，自注意力同时处理时间窗口中的全部槽。它既能看同一帧里不同对象的关系，也能看同一对象跨时间的变化。例如夹爪靠近方块时，夹爪槽和方块槽之间的关系会改变；方块被抓起后，它与桌面槽的关系也随之改变。

根据论文方法，可以把整个过程概括为四步：先编码参考帧，得到对象槽；再把文本指令编码成条件；随后从随机噪声初始化未来槽，并反复去噪；最后按需要把槽解码成视频，或者直接交给控制模块。

输入：参考视频帧、文本指令
对象槽 = 冻结的对象编码器(参考帧)
未来槽 = 随机噪声
对每个未来时间步：
    结合上下文对象槽、文本和噪声等级
    用扩散Transformer逐步去噪未来槽
    将预测槽加入后续上下文
输出：未来对象槽；按需解码视频或预测机器人动作

关键不是最后的视频解码器，而是第三行到第六行：模型在结构化对象空间里完成主要推理。视频只是把潜变量翻译回人能看的画面。对于机器人控制，预测槽甚至不必完整还原高清图像，只要保留足够的任务状态即可。

四、四类表示空间，究竟在比什么

论文没有只与一个弱基线比较，而是把扩散Transformer放进四种表示空间。第一种是标准图像压缩潜空间，代表成熟的生成式视频路线；第二种是专门面向视频训练的潜空间；第三种直接使用DINOv2语义特征；第四种就是SlotDiT的对象槽。

这种比较有一个优点：生成骨干大体一致，主要变量变成“每帧如何表示”。因此，结果更能回答对象中心表示是否有价值，而不是简单比较两个完全不同规模的系统。

图像压缩潜空间擅长保留局部纹理，通常更容易获得较好的视觉相似度。DINOv2特征强调语义，却未必适合直接生成细节。对象槽更紧凑，也更容易建立对象对应关系，但会损失一些纹理和精细外观。

所以论文同时报告两类指标。一类衡量画面和视频分布，包括感知距离、Fréchet视频距离和视频语义质量指标；另一类直接判断生成视频是否完成文本指令。前者回答“像不像真实视频”，后者回答“事情做对没有”。

SlotDiT最重要的实验现象，是视觉指标并非处处第一，但任务完成率持续更强。这说明对象槽没有赢下所有维度，却更贴近机器人真正关心的目标。

五、视频生成：87.8%与79.7%意味着什么

论文在四个机器人视频数据集上评估文本引导预测，包括CLIPort、LanguageTable合成数据、LanguageTable真实数据和Bridgev2。它们覆盖桌面抓放、语言条件操作以及真实机器人视频，既有相对干净的合成环境，也有光照、背景和物体变化更复杂的真实场景。

在CLIPort上，SlotDiT的视频任务成功率达到87.8%；在LanguageTable合成数据上达到79.7%。这个成功率不是单纯比较像素，而是判断生成序列是否满足给定语言任务。换句话说，目标物体是否按指令移动到正确位置，比桌面纹理是否完全一致更重要。

真实数据上的结果更有层次。对象中心方法在部分视觉质量指标上落后于图像压缩基线，却仍能取得更高任务成功率。模型生成的细节可能没有最强基线精致，但目标实体和动作关系更容易保持。

这并不表示视觉指标无用。如果未来视频要给人查看、用于高保真仿真或支持像素级规划，纹理和时序自然度仍然重要。论文结果更适合被理解为：在机器人任务中，视觉逼真度不是唯一目标，甚至可能不是最优先目标。

对象槽还有一个看不见的优势：它天然降低了模型必须同时协调的标记数量。像素潜空间里的每个局部块都可能随时间变化，而对象槽把一组局部变化绑定到同一个实体表示上。模型不必逐块重新发现“这些区域属于同一个方块”。

六、从“会想象”到“会控制”：73%对10%

世界模型最终能否帮助机器人，不能只看生成视频。论文进一步训练逆动力学模型：给定当前槽和下一时刻槽，预测机器人应该执行的动作。这样，SlotDiT先想象对象状态如何变化，再把相邻状态翻译成控制指令。

在CLIPort开放环控制中，SlotDiT成功率达到73.0%。开放环意味着动作序列生成后直接执行，中途没有不断根据新观测纠正，因此对世界模型的状态预测要求更高。作为对照，论文中最强的图像压缩潜空间扩散基线只有10.0%。

63个百分点的差距非常醒目，但不能简单归结为“对象槽让所有机器人控制提升七倍”。这个结果来自论文规定的数据、逆动力学设置和CLIPort任务；不同真实机器人、不同控制频率和更复杂接触条件下，差距可能改变。

它仍然提供了强有力的机制证据：如果潜空间没有稳定保存目标物体和关系，即使视频看起来合理，逆动力学也很难知道该从哪里提取动作。对象槽把状态压缩得更接近“谁在哪里、正在发生什么”，控制头的学习难度随之下降。

LanguageTable合成任务还采用闭环控制。机器人每执行一步都会获得新观测，再重新规划后续动作。论文同时测试训练分布内和分布外设置，对象中心模型在多种未见组合上保持较高成功率，说明它捕捉到的不只是固定场景模板。

对控制系统而言，一个不够精致但对象关系正确的未来，往往比一段漂亮却放错物体的视频更有用。这是SlotDiT最值得带走的工程判断。

七、速度为什么能快5.68倍

扩散Transformer的计算量与标记数量密切相关。图像潜空间为了保留空间细节，每帧通常需要较多标记；序列一长，自注意力成本会迅速增加。SlotDiT每帧只处理10个对象槽，相当于从源头缩短序列。

论文在单张英伟达A6000显卡上生成39帧，并对10个序列取平均。SlotDiT总耗时4.18秒，吞吐率9.33帧每秒，相对使用稳定扩散图像潜空间的基线快5.68倍。它不仅主模型处理的标记更少，潜变量的编码与解码负担也更低。

这个速度还没有达到高频真实机器人控制的要求。9.33帧每秒适合离线规划、低频滚动预测或作为上层世界模型，却不等于可以直接替代毫秒级控制回路。真实部署还要计入图像采集、对象编码、动作头、通信和安全检查。

但效率提升的来源很清楚，不是换了一张更快显卡，也不是减少生成帧数，而是改变了表示。对于要滚动预测很多候选未来的规划器，这类结构性节省尤其重要：同样预算下，可以评估更多动作方案，或者把更长时间范围纳入规划。

八、与两条世界模型路线放在一起看

SlotDiT不是第一篇使用对象中心表示的视频预测工作。文本引导对象中心视频预测模型（TextOCVP）已经用槽Transformer进行语言引导视频预测，证明对象级潜变量可以表达文本条件下的场景变化。SlotDiT的推进在于把未来槽预测改成扩散Transformer，并系统比较对象槽、图像压缩潜空间和视觉语义潜空间。

另一条路线是组合式机器人想象系统（RoboDreamer）一类世界模型。它们强调把复杂任务拆成可组合的子目标，让机器人在想象空间中规划。SlotDiT更关注底层表示：在开始组合和规划之前，模型是否已经把场景整理成可持续跟踪的实体。

如果把近期机器人世界模型放在一条链上，可以看到三个不同问题。三维点轨迹路线追问“物体怎样在空间中运动”；共享动作路线追问“人类视频与机器人动作怎样对齐”；对象槽路线追问“模型内部究竟用什么单位描述世界”。它们不是互相替代，而是可能在未来系统中叠加。

例如，一个系统可以用对象槽维护实体身份，用三维轨迹表达几何变化，再用共享动作表示连接不同机器人平台。真正成熟的世界模型，很可能不再押注单一表示，而是为语义、几何、动作和控制保留相互对齐的层次。

SlotDiT的价值，不是宣布对象槽已经统一世界模型，而是用一组清晰对照证明：表示空间本身就是模型能力的一等设计变量。

九、哪些地方还没有解决

第一，槽数量固定。简单桌面任务里10个槽可能足够，但拥挤场景、多个相似物体、遮挡和长时间交互会需要更灵活的容量。槽太少会把多个实体混在一起，槽太多又会削弱压缩优势，并产生槽身份不稳定的问题。

第二，对象中心表示会牺牲部分视觉细节。论文在真实视频的若干视觉指标上并未全面领先。如果任务依赖细小纹理、精密接触点、透明物体或软体局部形变，十个紧凑槽可能丢掉控制所需的信息。

第三，主要控制结果仍来自基准环境。CLIPort和LanguageTable非常适合做受控比较，但与真实机械臂面对复杂光照、相机抖动、执行器误差和意外碰撞仍有距离。论文没有用大规模真实机器人实验说明73%的结果可以直接迁移。

第四，自回归预测会积累误差。对象槽虽然更紧凑，却不能自动消除长滚动漂移。一个槽在早期把目标和背景分错，后续扩散模型可能持续沿错误身份预测。闭环观测能缓解问题，但也增加实时编码和重新规划成本。

第五，对象槽的可解释性需要谨慎看待。可视化掩码让人感觉“每个槽就是一个物体”，但训练目标并没有提供真实实例标签。槽可能按颜色、运动区域或任务需要拆分场景，其语义是否跨环境稳定，还需要更直接的身份保持实验。

十、龙哥点评：少看一眼像素，多看一步任务

龙哥觉得，SlotDiT最聪明的地方不是又造了一个更大的扩散模型，而是敢于主动丢信息。过去几年，生成模型的惯性是尽量保存一切：更多分辨率、更多标记、更强解码器。可机器人不需要记住桌面每一道木纹，它需要知道方块、碗和夹爪接下来会怎样相互作用。

这也是工程团队很容易忽略的一点。大家常把骨干网络、参数量和训练数据放在设计清单最前面，却把表示空间当成预处理细节。SlotDiT的结果说明，选错表示以后，后端模型再强也可能把算力花在与任务无关的细节上。

不过，对象槽也不是免费午餐。它把复杂世界压成固定数量的抽象实体，适合桌面操作，却可能在拥挤街景、细粒度装配和软体操作中遇到容量问题。真正落地时，团队不应该只问“对象槽是否先进”，而要问自己的任务究竟依赖对象身份、几何精度、纹理细节还是接触力学。

如果任务成败主要由少数实体关系决定，对象中心表示值得优先试；如果任务依赖微小外观和精细接触，就需要与高分辨率局部特征结合。这比简单复制论文架构更重要。

从长期看，世界模型可能会越来越像一套分层数据库：对象槽负责“有什么”，三维表示负责“在哪里”，动作表示负责“怎么改变”，高分辨率视觉负责“细节长什么样”。SlotDiT把其中第一层做得足够紧凑，并证明它能同时改善任务完成率与推理效率。

十一、龙迷三问

1. 对象槽是不是已经等于“模型理解了物体”？

不是。对象槽是通过重建与注意力竞争形成的潜变量，没有真实实例标签监督。它经常呈现对象化结构，但可能把一个物体拆开，也可能合并相近区域。更准确的说法是，它给模型加入了对象中心的结构倾向，并在当前任务上表现出更好的任务相关性。

2. 73%的控制成功率能否说明已经可以上真实机器人？

不能直接这样推断。73.0%来自CLIPort开放环控制基准，实验价值在于同一设置下显著超过其他潜空间，而不是代表真实工厂或家庭机器人达到同样成功率。真实部署还需验证视觉噪声、执行误差、遮挡、安全约束和长时间闭环稳定性。

3. 对普通研究团队最实际的启发是什么？

在扩大模型前先检查表示是否匹配任务。可以把像素潜空间、语义特征、对象槽和三维表示放在同一骨干下比较，不只看画质，还看任务完成率、下游控制和推理成本。如果更紧凑的表示在关键指标上更强，节省下来的算力往往比继续堆参数更有价值。

十二、总结

SlotDiT把机器人视频世界模型从像素和图像压缩潜空间，搬到每帧10个对象槽组成的紧凑空间。它先用冻结的视觉特征与槽注意力学习对象表示，再让文本条件扩散Transformer自回归预测未来对象轨迹。

实验给出三组关键结果：CLIPort视频任务完成率87.8%，LanguageTable合成数据79.7%；接入逆动力学后，CLIPort控制成功率73.0%，明显超过图像压缩潜空间基线的10.0%；生成39帧耗时4.18秒、吞吐9.33帧每秒，相对主要基线快5.68倍。

它没有在所有视觉指标上领先，也还没有覆盖大规模真实机器人控制。可这恰好让结论更清楚：世界模型不该只追求“看起来像未来”，还要选择能服务于任务、控制与规划的内部语言。

当模型把世界描述成少量可跟踪的对象，预测可以更快，任务关系也可能更稳定；但下一步仍要解决动态槽容量、细节保留和真实机器人长时闭环。

本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。