纽约大学与AMI Labs世界模型：稀疏表示让PushT规划成功率最高提升57%

龙哥导读

很多世界模型都在追求更大、更密、更强的潜变量和预测器。这篇工作偏偏反过来问：如果让大量潜变量维度直接归零，只保留少数活跃维度，未来会不会反而更好预测？纽约大学与AMI Labs团队给出的答案很有意思：在困难的PushT规划任务中，稀疏表示没有包打天下，却让中等容量预测器相对稠密基线提高24%—57%的规划成功率。真正值得看的，不只是“57%”这个数字，而是它把世界模型的优化目标从“预测误差够不够低”，推进到“需要多复杂的预测器才能用于行动”。

假设桌上有一个绿色目标区域、一块T形积木和一个圆形推杆。机器人要连续选择推杆动作，把积木旋转并推到目标姿态。它不能只看下一秒“像不像”，而要在脑内预演许多动作序列，再挑出最可能成功的一条。

问题来了：世界模型把画面压进潜变量之后，这个内部表示应该越丰富越好吗？直觉上，更多非零数字似乎意味着保存了更多信息。但对规划器而言，信息多不等于规律简单。一个把所有因素揉在一起的稠密向量，可能需要很深的预测器才能推演；一个把不同运动模式分开的稀疏向量，反而可能让浅层模型看清结构。

这也是论文最有价值的矛盾：它没有单纯追求“表示容量”，而是追问表示几何是否让动力学更容易学习。此前聊“从像素到行动”时已经看到，生成得像、记得多、预测误差低，都不自动等于能稳定控制。LpWM继续追问：信息是不是被摆在了适合行动的位置？

01｜先把“世界模型”讲明白：不是做视频，而是预演行动

世界模型可以理解成智能体脑内的一座“小型沙盘”。现实给它一张当前画面，编码器先把画面压缩成潜变量；动作预测器接收潜变量和候选动作，估计执行之后潜变量会怎样变化；规划器反复滚动若干步，比较哪条动作序列最接近目标。

这里用的是联合嵌入预测框架（JEPA）。它不要求把未来每个像素都画出来，而是在潜空间预测未来表示。这样做省掉了许多与行动无关的纹理细节：桌面木纹有没有完全复原，通常不影响往哪里推；物体位置、速度、接触关系和运动模式才更关键。

但潜空间还有一个老问题：如果只要求预测前后表示一致，编码器可能偷懒，把所有画面都映射成同一个常数。这样预测误差很低，因为无论输入什么，答案都一样；可这个答案也彻底失去了世界信息。这叫“表示坍塌”。

过去不少方法用分布匹配或方差约束防止坍塌，让特征铺满近似高斯分布。效果是潜变量多数维度都有数值，也就是稠密表示。它确实能保存信息，却留下了一个很少被正面追问的问题：防坍塌所选的分布，会不会同时决定动力学到底好不好学？

图1｜根据论文方法与表示分析重绘。稠密潜变量让大量维度同时变化，可能把多种因素耦合在一起；稀疏潜变量只激活部分维度，支持集可用于区分动力学模式，非零幅值继续表达模式内部的连续状态。

02｜论文的核心想法：让“哪些维度亮起”也成为信息

稀疏表示不是把所有数字都缩小，而是让相当一部分维度精确等于零。于是一个潜变量包含两层信息：第一层是支持集，也就是哪些位置非零；第二层是这些非零位置上的具体数值。

可以把它想成舞台灯光。稠密表示像所有灯都一直亮着，只是亮度不断变化；预测器必须同时分析几十束灯的组合。稀疏表示则像不同场景只开启一组灯：自由移动时亮一组，发生接触时换另一组，同一场景内部再用亮度表示精确位置。支持集负责“现在是哪一种动力学”，幅值负责“这种动力学里具体处于什么状态”。

论文不是只靠类比。它先给出一个理想化理论：对紧致状态空间中的Lipschitz受控动力系统，如果把状态空间切成足够多小格，每个格子用一个独热向量表示，那么状态转移可以写成动作条件下的线性矩阵。格子越细，解码后的一步误差越小；在固定滚动长度下，潜变量维度增大时，滚动误差也趋近于零。

独热向量就是只有一个位置为1、其余全为0，它极端稀疏，也极端浪费维度。现实模型不可能为连续世界的每个小格都单独造一个维度，所以团队把它当作方向提示，而不是直接实现：如果极端稀疏能把非线性动力学“展开”成更简单的转移，那么可学习的分布式稀疏表示，也许能在实用维度里获得一部分好处。

这里也要注意，理论误差按潜变量维度的负幂下降，并受到状态维数影响，仍有典型的“维数灾难”。所以这段证明不是说把维度无限加大就能轻松解决机器人控制，而是说明一种结构可能性：复杂世界可以通过合适的稀疏坐标，换来更简单的潜空间动力学。

03｜方法链拆解：编码、稀疏约束、动作预测、规划选择

图2｜根据论文方法重绘。当前图像先编码为潜变量，分布匹配正则把表示压向非负稀疏分布；动作条件预测器滚动未来潜变量；规划器比较候选动作序列的终点与目标潜变量距离。

整条方法链可以分成四步。第一步，视觉Transformer编码器读取当前观察图像，输出潜变量。第二步，预测器接收当前或最近几帧潜变量，再加入动作条件，预测下一时刻的潜变量。第三步，训练时让预测结果靠近下一帧真实编码，同时用稀疏分布正则防止表示坍塌。第四步，测试时把模型放进模型预测控制，让规划器在潜空间搜索动作。

训练目标的第一项很直白：预测出来的下一潜变量，要接近编码器从真实下一帧得到的潜变量。若只保留这一项，编码器可能全部输出常数。于是第二项整流分布匹配方法（RDMReg）登场，它要求每个时刻的潜变量分布接近一个整流广义高斯目标。

“整流”可以理解为先从一个分布采样，再把负数截成零。论文默认使用整流拉普拉斯分布：一部分样本落在负半轴，经过整流激活后集中到零；剩下的正数保留连续幅值。这样既制造了精确零，又不是只能在少数离散类别中选一个。

为了避免普通整流激活长期收不到梯度，编码器和预测器末端使用重参数化版本。前向计算时，它与标准整流激活一样产生精确零；反向传播时，梯度借用更平滑的激活通道通过。论文特别强调，这个技巧是优化保险，而不是防坍塌的根本来源；真正维持表示信息量的是整流分布匹配方法。

实际学到的表示也确实稀疏。论文表3显示，在384到4096维、不同预测器设置下，非零维度比例大约为28%到63%，多数配置约30%—65%活跃；稠密基线按构造则是100%活跃。这说明后面的规划比较并不是“名字叫稀疏”，而是模型真的让大量坐标归零。

04｜三个关键公式，真正要理解的是直觉

公式一：预测误差 + 防坍塌正则

第一项回答“未来有没有预测对”，第二项回答“内部表示有没有保持足够信息，并呈现目标稀疏形状”。系数λ决定两者平衡。正则太弱，潜变量未必形成稳定结构；太强，则可能为了匹配目标分布而牺牲任务相关信息。论文为不同维度和预测器扫描了多组正则权重与学习率，而不是只报一个偶然成功的设置。

公式二：随机投影上的分布匹配

高维分布很难直接比较。团队的做法像给一团云从许多角度拍投影：每次选一个随机方向，把高维潜变量压成一维，再比较模型分布与目标分布的差距。角度足够多时，模型不能只在少数坐标上伪装；它需要整体接近非负稀疏目标。

公式三：规划时只比较潜空间终点

测试时，当前图像和目标图像分别被编码。交叉熵方法（CEM）一次采样300组候选动作，世界模型向前滚动，保留代价最小的30组，再重复优化30轮。规划长度为5个动作块，每块对应5个原始环境步，所以目标图像相当于在25步之后。

开环评测只规划一次，然后一路执行，更直接考验误差会不会越滚越大；闭环评测每执行一段动作就重新看图、重新规划，能纠正部分偏差。两者一起看，才能区分“模型真的预演得准”和“频繁重规划把错误救回来”。

05｜实验不是只比两个大模型，而是搭了一架“预测器容量梯子”

如果只拿一个很强的预测器比较稠密和稀疏表示，结论可能看不出来。强模型能用大量参数把复杂耦合硬吃掉，潜空间几何再差，也可能被容量补救。论文因此从强到弱设计了六档预测器。

最强的是六层动作条件Transformer，随后是一层Transformer；中间是线性时变或线性时不变核心再接一个小型多层感知机；更弱的是只用固定线性算子处理三帧历史；最低容量则只看单帧潜变量和当前动作。潜变量维度还覆盖384、768、1536、2048和4096。

以384维为例，深层Transformer约2580万参数，三帧线性预测器约59万，单帧线性预测器约30万。容量梯子回答的是：同样的表示，需要多大的预测器才能支撑规划？

团队还加入第二个稠密基线：把原有稠密模型的高斯分布正则换成方差—协方差正则方法。这样可以判断提升究竟来自“恰好比某一种高斯约束好”，还是稀疏结构对另一类稠密表示也有效。结果显示，LpWM在PushT的多种预测器上同样超过这个基线，说明现象不只针对一种稠密模型。

06｜关键结果：57%出现在哪里，又没有出现在哪里

图3｜根据论文PushT实验结果重绘。稀疏LpWM相对稠密基线的优势集中在中等容量：多层感知机加线性时不变核心提升24%—57%，加线性时变核心提升36%—45%，其他中等配置提升11%—23%。

先看简单的Wall环境：智能体在二维房间里穿过一道门。这里最弱的单帧线性预测器，配合稠密或稀疏表示，都能在闭环规划中接近100%成功率。世界本来就容易线性化，稀疏表示没有多少发挥空间。

再看PushT：推杆要与T形积木接触，动作会同时改变平移和旋转，单帧又无法恢复速度。最低容量的单帧线性预测器对稠密和稀疏表示都失败，说明表示再好，也不能弥补模型根本看不到必要历史和复杂性的缺口。

最高容量处，深层和浅层动作条件Transformer对两种表示表现接近。强预测器足以吸收复杂动力学，稀疏带来的简化不再明显。论文最漂亮的结果，恰好出现在“模型不穷也不富”的中间地带。

在线性时不变核心外接一个小型非线性读出时，LpWM相对稠密基线提高24%—57%；使用状态相关的线性时变核心时，提高36%—45%；其他中等容量设置提高11%—23%。标题中的“最高提升57%”，就是这个容量区间里的相对规划成功率增益，不是所有任务、所有维度、所有预测器都固定提高57个百分点。

PushT主实验对正则权重和学习率做了网格搜索。受计算量限制，训练阶段固定一个随机种子，规划评测使用3个种子平均。这个设置比只跑一次规划可靠，但还不是多次独立训练的完整统计。读数字时应该尊重其直接证据，也不要把稳定性说得超过实验本身。

07｜更有意思的部分：稀疏维度真的分出了动力学模式

规划成功率说明稀疏表示有用，但还没解释它学到了什么。论文设计了一个可控的Piecewise环境：二维房间被切成四个或九个区域，每个区域都有不同方向的“力场偏置”。区域内部动力学近似线性，跨过区域边界后，运动规则切换。

团队把房间离散成20×20网格，共400个位置，比较各位置潜变量支持集的Jaccard相似度。Jaccard就是“共同激活维度数量”除以“至少有一个激活的维度数量”：两个位置亮起的灯越像，分数越高。

结果很清楚：同一力场区域内，支持集高度相似；一跨过区域边界，相似度迅速下降。更关键的是，把区域背景颜色去掉后，这种分区仍然存在。模型不是靠“看颜色猜区域”，而是通过动作条件预测，识别出背后的运动规则。

线性探针进一步显示，二值支持集对真实区域的解码准确率接近完整潜变量，论文总结为94%—99%；连续位置则更适合从非零幅值中解码。也就是说，“亮哪些维度”回答身处哪种动力学，“亮到什么程度”回答该模式里的具体位置。

规划也随之改善。在四区域环境、随机目标、每步重新规划的设置下，稀疏模型为84.67%±4.16%，稠密基线为65.33%±4.16%；如果直接连续执行五步，加入时间Jaccard约束的稀疏模型为68.67%±4.62%，稠密基线为36.00%±3.46%。九区域任务中差距缩小，但稀疏方法仍保持优势。

08｜接触任务揭示了一个反转：稀疏不自动等于可解释

在机器人手臂推方块的基准环境里，动力学模式可以粗略分成自由运动和接触交互。理想情况下，支持集应该在接触发生时切换，而不是跟着机械臂每一次小移动不断闪烁。

原始LpWM没有做到这一点。整流分布匹配方法只约束每一帧的边缘分布，没有明确告诉模型时间上应该稳定。于是支持集更像运动检测器：支持变化与末端执行器运动的相关系数约0.87，与抓手接触仅约0.05。看起来很稀疏，却未必按人希望的物理事件组织。

团队随后加入可选的时间Jaccard损失，鼓励相邻帧支持集平滑变化。随着约束增强，支持变化与末端运动的相关性从0.87降到0.40，与方块运动从0.26升到0.80，与接触从0.05升到0.61，而且规划成功率没有明显变化。此时支持集主要在接触窗口附近重组，更接近“动力学模式切换”。

这段结果比一味报喜更重要。它说明稀疏只是提供了可以分模式的容器，时间先验决定容器最终按什么语义分组。如果训练目标只关心逐帧分布，模型可能选择最容易变化的视觉因素，而不是研究者期待的接触、阶段或因果事件。

09｜与两条“稀疏世界模型”路线放在一起看

与本文直接相关的两篇工作很适合横向理解。第一篇是《Sparse World Models: Visual World Modeling with Sparse Representations》。它同样研究稀疏视觉世界模型，但更侧重用稀疏自编码器获得可解释特征，并观察和干预内部概念。它问的是“世界模型内部能不能被拆开看、被定向操控”。

LpWM的问题更窄，也更贴近控制：不先追求概念标签，而是改变JEPA潜变量的目标分布，再测量同样任务究竟需要多复杂的预测器。它问的是“稀疏之后，动作条件动力学是否更容易预测，较小模型能不能规划成功”。两篇工作的交集是可解释稀疏表示，评价终点却不同：一篇看干预与解释，一篇看预测容量与控制。

第二篇是《Sparse Imagination for Efficient Visual World Model Planning》。它主要减少滚动规划时处理的潜在令牌，只计算与当前决策更相关的部分，目标是降低想象成本。可以把它理解成“少算一些令牌”；LpWM则是“每个令牌内部少激活一些特征，让动力学更简单”。

两条路线是互补的：一个稀疏计算位置，一个稀疏特征数值。未来如果把它们结合，理论上有机会同时减少滚动中的令牌数量和每步动力学建模难度。但当前材料没有给出组合实验，因此更准确的说法是“值得尝试的接口”，而不是已经得到验证的加速方案。

10｜四个必须记住的限制：稀疏不是免费午餐

图4｜根据论文实验与讨论重绘。主要收益来自困难任务的中等预测器容量；简单任务、过低或过高容量，以及缺少时间先验时，都不能直接套用“稀疏更好”的结论。

第一，任务必须真的有足够复杂的模式。Wall环境已经能被简单线性模型解决，稀疏与稠密都接近满成功率。若业务动力学本来很简单，重新设计表示未必带来收益。

第二，预测器容量有一个有效区间。容量太低时，两种表示都失败；容量太高时，强模型把潜空间差异吃掉。LpWM最有吸引力的场景，是算力和参数预算有限，但任务又不能被最简单线性模型解决的中间区域。

第三，稀疏正则没有显式时间语义。逐帧分布匹配能让表示产生零值，却不会自动知道哪些变化应该保持、哪些变化代表接触或阶段切换。方块操作基准结果已经展示了支持集追随快速运动而非接触的失败模式。

第四，评测规模仍是研究型验证。任务集中在墙体穿越、PushT、分段动力学和短时域方块操作；PushT训练固定一个种子，规划阶段平均3个种子；方块操作目标只在25个原始环境步之后，论文也指出短时域可能让任务饱和。距离复杂真机、多物体长任务和开放环境还有明显距离。

11｜对工程团队意味着什么：先优化表示，再堆预测器

对机器人或视频世界模型团队，最直接的启发不是立刻把所有潜变量换成拉普拉斯分布，而是增加一项长期被忽略的评测：在相同表示上，用不同容量预测器做规划，画出“成功率—预测器复杂度”曲线。

很多项目只比较潜变量预测均方误差。可规划器关心的是滚动后动作选择是否正确。一个误差略低却需要六层Transformer的表示，不一定比一个误差相近、但59万参数线性核心就能工作的表示更适合边缘设备。模型预测控制每次要评估大量候选动作，预测器缩小后，收益会被重复调用次数放大。

第二项启发是把支持集当作诊断仪表。团队可以检查非零维度是否在接触、场景切换、控制阶段或对象状态变化时重组，再判断表示是否真的捕捉任务结构。如果它只跟着光照闪烁或相机运动变化，就说明还需要时间稳定、对象一致性或任务相关先验。

第三项启发是模型规模不能单独看。论文里的中等预测器仍可能有数百万到数千万参数，4096维下线性核心也不小。所谓“更小”是相对同维度的Transformer预测器而言，不代表已经适合所有实时机器人。真正落地还要测端到端延迟、候选动作数量、内存访问、批量滚动效率和控制频率。

官方仓库已经给出代码入口，但主要数字仍来自作者实验。准备采用的团队应先选自己的接触任务，把稠密和稀疏表示放进同一容量梯子，而不是直接照搬57%做预算。

12｜杨立昆这条研究路线，为何一直强调“在表示里预测”

论文署名中包括杨立昆，其署名单位为纽约大学与AMI Labs。这条路线不在像素层生成全部未来细节，而强调在抽象表示里预测行动相关变化。LpWM进一步把“表示空间应该长什么样”推到台前：防坍塌、最大熵和规划友好不是同一个目标，分布约束也会改变动力学是否容易被小模型表达。

13｜龙哥点评

龙哥觉得，这篇论文真正解决的不是“怎样再做一个世界模型”，而是建立了一种更有工程味的比较方式：别只问表示能否预测未来，还要问它让多小的预测器能够完成规划。这把表示学习从抽象指标拉回了算力、延迟和控制成功率。

最值得肯定的地方有两个。第一，作者没有只展示最强模型，而是系统扫描预测器容量，主动呈现最低容量失败、最高容量差距缩小的反结果。第二，支持集分析不是停留在漂亮热图，还用去除视觉颜色、线性探针和时间Jaccard干预检查“模式”到底来自哪里。

关键不足也很明确：主要亮点来自少数受控环境，中等容量的定义随维度变化，PushT训练种子有限，真机长时规划尚未验证。更重要的是，稀疏本身不保证支持集具有物理语义，仍需要时间先验来把“变化”对齐到接触与对象运动。

所以龙哥不会把结论总结成“稀疏表示取代稠密表示”。更准确的判断是：当任务动力学复杂、预测器预算受限、又允许通过正则塑造潜空间时，稀疏表示是一个值得优先测试的默认候选。它最可能帮助的不是无限堆参数的云端系统，而是需要高频滚动、反复重规划、算力预算敏感的机器人控制。

把它放回“从像素到行动”的主线，LpWM补上了重要一环：世界模型不只要会重建、记忆和预测，还要把内部结构整理到规划器用得起。与其硬接节日话题，不如专注把这条方法链讲透。

14｜龙迷三问

第一问：稀疏度越高越好吗？
不是。零值太少，模式仍可能混在一起；零值太多，又可能丢掉连续状态和细节。论文比较的是由整流拉普拉斯目标诱导的一组稀疏表示，并没有证明“越稀越强”。真正需要调的是任务信息、支持稳定性与预测器容量之间的平衡。

第二问：既然高容量预测器能抹平差距，为什么不直接用大模型？
模型预测控制会为大量候选动作重复调用预测器，单次变贵会被成百上千次滚动放大。服务器离线规划可以用大模型，机器人实时控制却要同时面对延迟、功耗、内存和安全冗余。表示先简化一部分动力学，可能比永远扩模型更经济。

第三问：下一步最关键的实验是什么？
不是再找一个更简单的二维环境，而是在真机、多物体、长时域任务中比较端到端规划延迟与成功率，并进行多次独立训练；同时检查支持集是否稳定对应接触、阶段和对象关系。如果稀疏表示能在这些条件下继续降低预测器规模，论文的工程意义才会真正放大。

15｜总结：世界模型不只要“知道得多”，还要“组织得好”

LpWM用整流分布匹配正则，把动作条件JEPA的潜变量塑造成非负、精确稀疏的表示。理论上，高维独热编码可以让非线性受控动力学在潜空间呈现线性转移；实践中，分布式稀疏表示不需要走到独热极端，也能在PushT的中等预测器容量下显著提高规划成功率。

它还展示了一种“模式分解”结构：支持集表示离散动力学区域，非零幅值表示区域内连续状态；加入时间先验后，支持变化能从机械臂快速运动转向方块运动和接触事件。这个结果既是亮点，也是提醒——好的表示不是自然长出来的，而是被目标分布、时间约束和控制任务共同塑造的。

对小白读者，记住一句话就够：世界模型的大脑里，不一定每个神经元都要同时说话；让不同动力学模式由不同小组发言，后面的预测和规划可能更简单。但它不是万能压缩术，优势取决于任务难度、预测器容量和时间结构。

主要参考资料

本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。