哈工大（深圳）机器人操作：UniMPA让记忆变计划，长任务成功率83.3%

龙哥导读

这篇论文最值得看的，不是又给机器人加了一个“记忆模块”，而是把一个长期被拆开的闭环重新接上：先预测任务接下来应该发生什么变化，再从历史中找出真正做成过这种变化的经验，最后根据眼前物体位置和机器人状态把旧动作改成现在能执行的动作。

先看一段官方真实机器人演示。画面属于语义重排与分类任务套件，机器人需要识别不同物体的用途和目标位置，连续完成抓取、移动、放置与整理。真正困难的地方不只是“认出苹果和盘子”，而是每做完一步，都要知道任务走到了哪个阶段、下一次接触应该发生在哪里，以及旧经验在当前摆放下还能不能直接使用。

官方真实机器人演示：语义重排与分类。原项目页提供七类任务视频，本图由其中的官方视频转换而来。

我们最近介绍过把场景压缩成对象槽、再预测未来的机器人世界模型。那类工作关心的是“世界接下来会变成什么样”。UniMPA继续追问了一步：即使未来画面预测对了，机器人凭什么保证自己的机械臂真的能把它做出来？ 一张看起来合理的未来图，不等于一条可执行的动作轨迹；一段过去成功的轨迹，也不等于搬到新场景还能成功。

这正是论文定义的“变化可实现性缺口”。它不是简单的视觉识别问题，也不是单纯的动作精度问题，而是横在“想象未来”和“执行动作”之间的一道断层。UniMPA试图用一个共同的“状态变化”接口，把预测、记忆和动作三部分连起来。

一、为什么机器人看懂了，还是经常做不对？

很多视觉—语言—动作模型的基本做法，是把相机画面、语言指令和机器人自身状态放进模型，直接输出接下来的一段动作。这个思路很自然：人看到桌上的杯子，听到“把杯子放进托盘”，也会伸手去拿。问题在于，真实操作不是一个静态的“看图答题”，而是一连串状态变化。

论文首先指出三个经常被混在一起的问题。第一个是阶段不明确。两张画面可能非常相似，但一张处在“准备抓取”，另一张处在“刚刚放下、准备松手”。如果只看当前画面，模型容易把相似外观误认为相同阶段。折衣服时尤其明显：布料轮廓差别很小，接下来却可能需要继续折、重新对齐、调整抓点或松开夹爪。

第二个是预测与执行脱节。模型可以生成一张“杯子已经进入柜子”的未来画面，但这张画面没有告诉机械臂应该从哪个方向接近、怎样绕开柜门、夹爪何时收紧。视觉上成立的结果，不一定存在一条符合关节限制、碰撞约束和接触条件的动作路径。

第三个是历史经验与当前场景不匹配。机器人昨天从桌子左边抓起杯子成功了，今天杯子转了一个角度，旁边又多了一个障碍物。过去的动作依然有参考价值，却不能原封不动地重放。它需要保留“这类动作大概怎么走”的骨架，再结合当前几何位置重新调整。

所以，真正需要统一的不是三个模块的名字，而是它们对同一件事的理解：从当前状态出发，任务希望世界发生什么变化，这个变化曾经怎样被成功实现，现在又该怎样改成适合眼前场景的动作。

二、UniMPA的核心：不要直接猜动作，先描述“下一步变化”

论文用一个简洁的关系表达核心思想。设当前上下文为X，它包括多视角画面、语言指令、机器人关节状态和最近的动作历史；模型希望得到未来时刻的观察结果。UniMPA不把“变化”定义为两张图片逐像素相减，而把它看成一个有条件的状态演化过程：

这句话听起来抽象，换成整理桌面的例子就很好理解。当前状态是“苹果在桌上、盘子在右侧、夹爪空闲”；目标变化不是“一堆像素发生变化”，而是“苹果从桌面转移到盘子，其他物体保持稳定”。动作则要把这个语义目标变成抓取位置、抬升高度、移动轨迹和松爪时机。

这样设计的好处，是预测模块不再只负责画出一张未来图，记忆模块也不再只找一张长得相似的旧画面。它们都围绕“需要实现的变化”工作：未来预测说明意图，历史记忆证明某种变化曾经可以被动作实现，动作生成再把这份经验适配到当前场景。

UniMPA官方框架图。阅读时可以沿着“先预判、再找经验、最后修正动作”这条主线看，不必被模块数量吓到。

整个模型建立在π0.5骨干上，包含视觉语言骨干、世界专家和动作专家。视觉语言骨干负责理解画面与指令；世界专家用16个可学习标记表示未来变化；动作专家则以流匹配方式生成连续动作。关键不是简单叠加三个大模型，而是让世界专家产生的“变化表示”直接参与记忆检索和动作生成。

三、第一步：持续看大方向，只在关键时刻看细节

如果每一步都生成完整未来图像，成本高，而且模型会把大量能力花在不重要的静态背景上。桌面纹理、墙壁颜色和固定家具占据了绝大多数像素，真正决定操作成败的，往往只是夹爪附近一小块区域：是否碰到物体、是否插入孔位、是否完成接触、是否该松手。

UniMPA因此采用“持续的潜在预测 + 选择性的像素预测”。潜在预测可以理解为一直开着的任务进度表。它不要求还原每个像素，而是持续记录“现在处于抓取、搬运、对齐还是释放阶段”，用较紧凑的表示跟踪整体演化。

像素预测则像一台只在关键动作附近打开的高清摄像机。模型设置一个触发门，同时观察潜在状态变化和动作变化：如果语义状态明显改变，或者机械臂平移、旋转、夹爪开合超过阈值，就启用像素级未来监督。普通移动阶段不用反复重建背景，接触、插入、换手和释放等时刻才重点看细节。

值得注意的是，模型部署时不会真的先生成一张未来图，再拿图去控制机器人。未来图像主要在训练阶段充当老师，帮助世界专家学会关注关键变化；推理时保留的是已经学到未来信息的内部表示。这样既使用了未来监督，又避免在线控制时承担完整图像解码的额外负担。

消融实验说明，两种监督缺一不可。只保留潜在预测时，真实机器人最终成功率从74.9%降到64.6%；只保留像素预测时降到68.6%；把像素预测密集地用在所有时刻，也只有70.3%。完整的“持续潜在 + 关键时刻像素”达到74.9%。这说明不是预测越多越好，而是长期进度需要持续跟踪，昂贵的视觉细节应该投到真正影响动作的时刻。

触发方式同样重要。随机触发像素监督时，真实机器人最终成功率为65.1%；只看动作变化为68.6%；只看潜在状态变化为69.7%；把两种信号结合起来才达到74.9%。一边说明“任务语义变了”，另一边说明“身体动作正在转折”，两者共同出现时，往往就是最值得分配计算的位置。

四、第二步：双向记忆不是找相似画面，而是找做成过的变化

普通记忆检索很容易陷入“看起来像”的陷阱。机器人在折衣服的开头和中段，画面可能都像一块摊开的布；在打开抽屉前后，桌面布局也可能差别不大。如果只按当前画面相似度搜索，模型会取回错误阶段的经验。

UniMPA建立了两座方向相反的记忆库。第一座是“视觉到动作”记忆：用预计会发生的视觉变化作为查询，找出历史上与这种变化对应的动作演化。它回答的是：过去有哪些动作，真的把场景从类似状态推进到了类似结果？

第二座是“动作到视觉”记忆：用最近一段机械臂和夹爪动作作为查询，找出这些动作历史上伴随的视觉变化。它回答的是：当前这种运动趋势通常会把物体带向哪里，这条动作模式在视觉上意味着什么？两个方向互相校验，让“看起来合理”和“确实做得到”不再各说各话。

检索还采用由粗到细的时间组织。第一步先在整段历史中选择最相关的一次完整示范；第二步只在这次示范内部寻找最匹配的时间片，并对相邻候选做加权。这样可以避免把不同示范中外观相似、阶段却冲突的片段平均到一起。

这个顺序很像人学习装配。你不会把十段不同教程里外观相似的手部画面混在一起平均，而会先选定一段与当前设备和目标最接近的完整教程，再沿着它的时间顺序找到自己正在做的步骤。时序身份保留下来，记忆才不是一堆孤立截图。

实验中，完全去掉记忆后，真实机器人最终成功率从74.9%降到61.1%，累计成功率从86.4%降到75.7%。去掉任意一个方向的记忆也会明显退化。若不做时间组织，最终成功率降到65.7%；改成固定局部窗口则为68.6%。这说明提升并不只是“缓存更多历史”，而来自按任务阶段组织、按目标变化检索的经验结构。

五、第三步：旧动作只能当草稿，不能直接照抄

取回一段成功动作之后，最危险的做法就是最近邻复制。即使任务相同，杯子位置偏了几厘米、夹爪初始姿态不同、障碍物换了位置，原轨迹都可能碰撞或抓空。论文把检索到的历史动作称为“动作原型”：它说明大致应该往哪个方向走、什么时候转折、夹爪怎样开合，但不是最终答案。

UniMPA用这个动作原型去移动流匹配模型的起点。普通流匹配从零均值高斯噪声开始，像在整个动作空间里从头搜索；UniMPA把起点向历史上可执行的动作区域平移：

随后动作专家综合当前画面、语言指令、机器人状态和未来变化表示，对这份草稿反复去噪和修正。可以把它理解成导航：历史经验先给出一条大致可走的路线，当前传感器再根据新障碍物改变转弯位置，而不是重新从所有道路中盲搜，也不是闭眼照着旧路线开。

这部分的消融结果很直接。直接复制最近邻动作时，真实机器人最终成功率只有52.0%，比完整方法低22.9个百分点；只把旧动作作为普通条件输入为69.1%；真正把动作分布的起点推向历史可执行区域，再由模型细化，才达到74.9%。记忆的价值不是替机器人做决定，而是缩小搜索范围，同时把最终决定留给当前场景。

六、四套仿真评测：不只看熟悉环境，更看场景变化后会不会崩

论文使用四类互补的仿真基准。第一套机器人操作基准包含空间关系、物体搬运、目标条件和长任务四组；其扰动版评测专门改变相机、机器人外观、语言、光照、背景、噪声和物体布局。

双臂仿真基准让模型只在干净设置训练，再直接面对随机化困难场景；另一套语言操作基准则加入更隐含的指令和常识判断。

官方评测总览：左侧是四套仿真基准，右侧是真实双臂机器人上的七类任务。

在第一套机器人操作基准的2000次测试中，UniMPA平均成功率为98.6%，高于π0.5的96.9%和此前最强结果的98.1%。这个基准已经接近饱和，所以1.7个百分点的提升本身不是最重要的信号。更值得注意的是，论文报告UniMPA只使用π0和π0.5所需训练轮数的25%，说明未来变化监督和经验先验可能减少了纯粹靠动作拟合反复训练的负担。

更能拉开差距的是扰动版评测。它包含10030次零样本测试，故意改变相机、机器人、语言、光照、背景、图像噪声和物体布局。UniMPA的平均成功率为85.3%，比π0.5的73.6%高11.7个百分点，也高于其他对比方法中最强的79.7%。从原始环境到扰动环境，它只下降13.3个百分点，是表中最小降幅。

这个结果与方法设计是吻合的：如果记忆只匹配外观，相机和背景一变就容易找错；如果记忆围绕“物体应发生什么变化”组织，对表面变化会更不敏感。当然，这仍然是作者设置下的基准结果，不能直接等同于开放家庭环境里的可靠性。

在双臂仿真基准的困难设置中，所有方法只在干净环境训练，然后零样本面对随机物体与场景。UniMPA在11个任务上平均58.2%，比π0.5高18.5个百分点，并在8个任务中排名第一。比如移动指定物体的成功率从14%升到46%，把物体放到指定位置从7%升到37%。但58.2%也提醒我们：面对更强随机化时，机器人操作离“稳定可用”仍有明显距离。

在强调语言理解的评测上，UniMPA平均44.0%，比π0.5高4.3个百分点。它在选书、选饮料、选择化学试管和插花任务上取得最好或并列最好结果。绝对分数不高，说明当指令依赖常识和隐含语义时，仅靠更好的动作闭环并不能解决全部问题，视觉语言理解仍然是上限之一。

七、真实机器人：长任务的价值，不只是最后一次成功

真实机器人实验使用两种不同的双臂平台，一种带轮式底盘和可动躯干，另一种基于移动双臂系统。任务分成七类，包括语义整理、开关容器、精密装配、柔性物体与工具、双臂协作、动态拦截，以及长流程组合与错误恢复。每个任务进行25次独立测试。

论文同时报告两个指标。任务成功率只看是否最终完成；累计成功率把中间检查点也算进去。例如折衣服可能包含第一次折叠、第二次折叠、重新对齐和最终折叠。机器人即便没完成最后一步，也可能已经正确完成前三步。对于长流程系统，累计成功率能帮助我们区分“开头就失败”和“接近完成才失败”。

官方真实机器人结果图：覆盖整理、容器交互、装配、折叠、双臂协作、动态拦截与错误恢复。标记区域通常是接触或阶段转换的关键时刻。

在第一种平台的21个任务上，UniMPA最终成功率为77.7%，累计成功率为86.3%；π0.5分别为65.3%和75.6%。在第二种平台的七个代表任务上，UniMPA达到74.9%和86.4%，比π0.5高12.6和11.5个百分点。两个平台分别训练，并不是一次训练直接跨机器人迁移，因此这里证明的是方法能适配不同机器人形态，而不是已经实现通用跨本体控制。

最能体现记忆价值的是长流程与恢复任务。机器人需要堆叠积木，发现抓取偏差后重新抓取，再继续放置后续积木；或者折T恤时发现位置偏移，重新对齐后完成最终折叠。UniMPA在这一组的最终成功率为72.0%，累计成功率为83.3%；π0.5分别为52.0%和68.4%。也就是说，提升不只来自简单动作更准，还来自模型更能维持阶段、找回相关经验并从中间偏差中继续执行。

动态任务同样有明显收益。在传送带上连续拦截两个目标，或者接住滚动物体并放入容器，动作时机和视觉变化都在快速变化。UniMPA在动态与反应任务中的最终成功率为70.7%，高于π0.5的57.3%。这类任务说明“预测下一步变化”不只是长任务记进度，也可以帮助模型判断即将发生的接触。

八、和近期两条路线相比，它到底新在哪里？

近期机器人研究里，“预测未来”和“利用记忆”都很热门，但不同方法把计算放在不同位置。世界模型想象调度方法（WISE）关注什么时候值得调用世界模型进行想象，目标是用受控的想象调度提高后训练效率。它更像在问：哪些训练样本或阶段值得多想一步，怎样避免世界模型计算被浪费？

UniMPA关注的不是单独安排一次想象，而是把未来变化变成模型内部的共同接口。预测结果既用来消除当前阶段的歧义，又作为检索历史动作的地址，最后还参与动作细化。换句话说，WISE偏重“何时想象”，UniMPA偏重“想象出来的变化如何一路落到可执行动作”。

Memory as Plans则把情景记忆转化为多模态计划，重点服务长流程执行。它强调从过去经历中组织计划；UniMPA进一步把记忆分成视觉到动作、动作到视觉两个方向，并把检索结果作为流匹配动作分布的原型。两者共同承认长任务不能只靠当前画面，但UniMPA把问题落到了更细的“变化—动作对应关系”和当前几何适配上。

如果把这几条路线放在一起看，机器人系统正在从“看图直接出动作”转向更明确的中间闭环：预测未来、检索经验、形成计划、检查可执行性，再生成动作。区别不在于谁使用了更多模块，而在于这些模块是否共享同一个可验证目标，是否真的减少了动作生成的盲目搜索。

九、工程上值得看什么，又要警惕什么？

从工程角度看，UniMPA最有价值的思想是把计算分层。潜在未来表示持续运行，像低成本的任务进度追踪；像素级预测只在接触和阶段转换时触发；历史动作先把生成过程推到一个更可能可行的区域，再由当前场景细化。这比“每一步都生成高清未来，再从头规划动作”更接近实际部署对延迟和算力的要求。

但它并不轻。视觉语言骨干约20亿参数，动作专家约3.11亿参数，世界专家采用与动作专家相同的18层结构；训练使用4到16张NVIDIA Pro6000显卡。论文强调训练轮数只有基线的25%到50%，这不等于总训练成本一定只有四分之一，因为新增世界专家、记忆预训练、像素监督和数据处理都有开销。真正的成本比较仍需要统一硬件下的时间、显存和能耗统计。

记忆库也带来新的维护问题。历史经验来自过去完成的执行，可以在一次任务结束后追加进记忆库，不必重新训练整个策略；但当前版本只能让新经验帮助后续任务，不能在同一次执行中边做边更新。机器人在当前任务里刚学到的纠错方式，无法立刻用于剩余步骤。

时间尺度目前也是固定的。自由空间移动变化较慢，插孔、接触、换手和恢复需要更细的时间分辨率，统一使用同一个未来间隔和动作长度未必合适。论文把多时间尺度预测列为后续方向：根据阶段、检索置信度和变化大小，动态选择短、中、长期预测。

另外，当前触发门是二值判断：开或不开像素预测。但真实世界的不确定性不是只有两档。物体刚开始滑动、柔性材料局部变形、夹爪接触不稳定时，系统可能需要更高分辨率、更长解码或更多未来候选。把“是否计算”扩展成“分配多少计算”，会更接近可部署的自适应世界模型。

动作原型现在也主要归结为一个建议方向，而同一目标可能存在多条都合理的路径：左臂或右臂、正面或侧面抓取、先移动障碍物或直接绕开。论文提出未来保留多个动作原型，让模型根据任务阶段与当前几何选择或混合。对于拥挤环境和双臂协作，这可能比单一原型更重要。

复现方面需要保持耐心。官方项目页和七组演示视频已经公开，GitHub仓库也已建立，但目前仓库主要是说明材料，代码、预训练权重和评测脚本仍标注为准备中。论文结果覆盖面很大，但在完整训练配置、数据处理和评测脚本公开前，外部团队还无法独立复现全部数字。

十、龙哥点评：真正的“机器人记忆”，应该帮助它改变下一步

很多系统说自己有记忆，本质上只是把更多历史塞进上下文。历史更长当然可能有帮助，但如果模型不知道哪些经历对应当前阶段，不知道旧动作和眼前几何有什么冲突，记忆越多也可能越混乱。UniMPA给出的更强定义是：记忆必须围绕状态变化组织，并且能影响动作生成的起点。

我比较认可它的“先预判、再落地、最后修正”逻辑。先预测下一步变化，是为了弄清意图；用历史动作给这个变化做可执行性背书，是为了避免只会画未来；再根据当前场景修正原型，是为了避免机械复读经验。这三步分别对应想清楚、查证据和做适配，闭环比较完整。

真正值得团队关注的，也不是基础基准从96.9%涨到98.6%这一个数字，而是困难随机化、真实双臂任务和长流程恢复上的增益。一个方法如果只在熟悉环境多赢一两个点，很难说明部署价值；如果场景变化后退化更小、失败后还能继续、训练轮数还可能减少，才更接近现实收益。

不过，离产品化还有三道账要算。第一是数据账：两座记忆库需要多少覆盖不同物体、阶段和失败恢复的高质量轨迹；第二是计算账：世界专家和检索系统增加了多少训练与推理成本；第三是维护账：环境、夹具和机器人硬件变化后，旧记忆何时过期，怎样清理错误或低质量经验。论文展示了机制上的可行性，但这些系统账本仍需要工程验证。

对研究者来说，UniMPA值得借鉴的是统一接口，而不一定是逐模块照搬。你的系统可以不用同样的骨干、同样的两座记忆库或同样的流匹配模型，但应该回答三个问题：内部表示是否明确描述任务要发生的变化？检索到的历史是否真的包含可执行证据？旧经验是否会根据当前状态重新适配？

对普通读者来说，可以把这项工作理解为机器人从“条件反射”迈向“带经验的预演”。它仍然没有人的理解和主观意识，也不会凭空创造新的操作知识；但它开始把未来、过去和现在放到同一个决策链里：先想下一步，再回忆类似经历，最后看看眼前情况是否允许照着做。

UniMPA目前给出的答案还不完整，但它把问题放到了一个更准确的位置：机器人操作的关键，不只是把图像翻译成动作，而是让模型理解“世界应该怎样改变”，并确保这个改变有历史证据、能被当前身体真正实现。

如果你持续关注机器人、具身智能和世界模型，我会继续把新的真实机器人结果、可复现进展和落地代价拆开讲清楚。

本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。