← 返回 PaperDaily
视觉与图像
机器人也学会“先想后做”？τ₀-VLA用世界模型引导测试时计算，长时程任务成功率45%
当大模型学会“思考”后，机器人也该学学“先想后做”了。本论文把大模型里的测试时计算扩展到了机器人子任务规划中，用世界模型预测、价值模型评分、束搜索择优，让机器人在面对长时程任务时不再“走一步算一步”。四项真实世界长时程任务平均成功率45%，值得所有做机器人决策的朋友读一读。
龙哥读论文
发布于 2026-08-20 00:20:10
阅读 4
查看原文
原论文信息如下：
引言：机器人长时程操作到底难在哪？ 想象一下这样的场景：让一个机器人去打扫整个房间，它需要先走到床边，把脏衣服捡起来放进洗衣篮，然后回头挂好手提包，再把毯子递给主人，最后还要把茶几上的零食袋扔进垃圾桶。整个任务分解下来有25个步骤，每个步骤都需要在正确的时机做出正确的决定。
这类长时程操作任务最大的挑战不是单个动作的控制精度，而是如何在几分钟甚至几十分钟的时间里，持续做出正确的“下一步”决策。传统的视觉-语言-动作模型往往把所有决策压在一次前向传播中完成，面对复杂任务时，模型既没有机会对比不同的子任务方案，也无法预判每个选择可能带来的物理结果。
一个错误的子任务选择往往无法通过更精确的电机控制来弥补——机器人可能把错误的子任务执行得完美无缺，但整件事从一开始就跑偏了。这正是智元机器人、上海创智学院与香港中文大学联合团队在论文《τ0-VLA: a Hierarchical Robot Foundation Model with World-Model-Guided Test-Time Computation》中要解决的核心问题。
机器人长时程操作的瓶颈：固定计算预算下的决策困境 几乎所有主流的分层视觉-语言-动作模型，都采用类似的工作方式：每次决策只做一次前向传播，直接把当前观测映射到下一个子任务。这种固定计算预算的模式有个天生的缺陷——模型对每个决策都一视同仁，无论这个决定是“拿起杯子”还是“决定整道菜要不要重新炒”，都分配相同的计算量。
更关键的是，模型在做出高层的子任务决策之前，既没有对比多个备选方案，也没有通过物理状态的变化来评估这些方案可能产生的结果。比如在做饭任务中，机器人需要判断“盐是否已经加过”。这个决策光靠当前画面很难判断——加盐这个动作几乎没有显著的视觉变化。如果模型没有记录执行历史的能力，它可能反复加盐或者干脆跳过，最终毁掉整道菜。
论文作者敏锐地指出，长时程执行的核心瓶颈不再是分层动作接口的可用性，而是生成下一个子任务所用的推理过程。他们把子任务生成重新定义为一个推理时计算问题，让计算量随决策难度动态扩展——就像大语言模型中的测试时计算那样。有意思的是，子任务是这种推理的天然单元：动作级别的搜索只能解决局部控制歧义，语言推理虽然能覆盖更长的时间跨度，却缺乏物理状态的锚定。子任务恰好介于两者之间，既稀疏到值得投入额外计算，又在时间上足够延展，能够引发可衡量、可区分的变化。
方法概述：τ₀-VLA的系统全景 τ0-VLA的总体设计思路很清晰：把高层子任务生成和低层动作执行彻底分开。高层策略负责“想”——维护执行记忆、判断何时需要额外的推理计算、生成当前应该执行的子任务；低层策略负责“做”——把当前观测和子任务指令映射为具体的机器人动作。
核心设计：世界模型引导的测试时计算 τ0-VLA的精华在于它的高层策略不是一个简单的单次前向传播，而是一个由四个模型协作的推理系统：提案模型（P）、世界模型（W）、价值模型（V）和反思模型（F）。这四个模型各司其职，构成了一个完整的“提出-预测-评估-反思”闭环。
提案模型是决策的起点。在每一步推理中，它接收当前的多视角观测、任务指令、携带的执行记忆以及上一个子任务，更新记忆并生成一个直接的子任务提案。有意思的是，提案模型在同一轮前向传播中还会输出一组token置信度统计，用于决定是否需要调用额外的测试时计算——如果模型对自己的决策很有信心，就直接走快速通道；如果不确定，就进入深度搜索模式。这种自适应路由机制非常巧妙，避免了在简单决策上浪费算力。
当触发测试时计算时，系统进入束搜索循环。在每一层扩展中，提案模型对每个保留的分支独立采样N次，生成N个候选子任务。每个候选子任务会被送到世界模型那里，世界模型基于当前的头戴相机图像和候选子任务，预测该子任务完成后的终端图像。这个预测图像就是决策的“想象后果”——它把候选子任务从文本描述变成了可评估的物理状态。
价值模型随后上场，它综合全局任务指令、候选子任务和预测的终端图像，给出一个五档的候选质量评分——从“明显错误”到“明显正确”映射为0.05到0.95的标量值。束搜索根据这个评分全局保留Top-B个分支，然后递归地向下扩展，直到达到预设的搜索深度D。值得注意的是，搜索过程中产生的所有记忆都是分支本地的，不会覆盖持久化的执行记忆，这保证了整个推理过程不会污染真实的状态追踪。
搜索结束后，反思模型接手。它以观测对齐的真实上下文和保留的分支摘要为条件，生成最终的子任务。这个输出可以复用某个保留的候选提案，但也可以跳出候选集生成全新的子任务——它吸收了想象过程中获得的“经验”，做出更全面的判断。
分层架构设计：高层语义推理与低层统一控制 低层策略走的是当下主流VLA模型的技术路线：预训练的视觉-语言骨干结合混合Transformer动作专家。这里的亮点在于统一的状态和动作空间设计——论文定义了一个40维的通用空间，覆盖末端执行器、手臂关节、夹爪、腰部和移动底座，通过逐样本的掩码机制激活不同本体对应的有效通道。这意味着同一个模型可以无缝支持固定底座操作、双臂协调和移动全身控制，不需要针对每种机器人单独设计输出头。
动作生成采用条件流匹配的方式，从噪声到动作块分布学习一个速度场。由于不同本体占用的通道不同，论文对流动路径和训练目标都做了掩码处理，只监督激活的通道。训练过程分为三个阶段：先是知识隔离的联合训练，让动作专家从视觉语言骨干学习控制相关表征而不过度扰动预训练权重；然后端到端联合训练，让动作梯度把骨干表征调整得更适合机器人控制；最后针对具体部署任务做小样本微调。
高层策略的数据构造同样值得一提。训练监督完全从现有的任务、阶段和执行子任务标注中自动生成，配合分割好的多视角演示，不需要额外的人工逐样本标注。为了让模型学会在部署时修正自己的记忆错误，论文构造了五种记忆扰动实例：记忆滞后需要追赶、记忆超前需要回滚、未察觉的失败需要识别并恢复等。这种“自我纠错”训练方式非常实用。
数据准备及实验设计 低层策略的训练语料规模可观：40,115小时的异构真实世界数据。其中约23.4K小时为内部收集的演示数据，覆盖AGIBOT G1、AGIBOT G2、ARX AC One先从数学上看看，固定计算预算的分层策略长什么样 要把“长时程决策的困境”说清楚，最好先给出一个简洁的数学框架。在标准的视觉-语言-动作模型（VLA，Vision-Language-Action Model）设定里，一个策略模型接收当前的多视角观测ot、本体感觉状态st、语言指令ct和控制元数据η，输出一段H步的动作块：
at:t+H−1 = πθ(ot, st, ct, η)
其中θ是网络参数。在直接执行模式下，整条任务指令ℓ会被从头用到尾，ct = ℓ。这意味着策略必须在每一个时刻自己推断任务进行到哪一步，再生成对应的动作。想想看，你让机器人“做番茄炒蛋”，它面对的始终只有这一句总指令，得靠画面里的锅碗瓢盆自己猜现在该切菜还是该翻炒。这对于短任务还行，一到几十步的长任务，纯靠隐式推断实在太勉强了。
分层VLA策略则把这个过程拆成两层。设高层策略为μ，在推理步骤t，它维护一个执行记忆Mt−1和上一个生成的子任务z*t−1，结合当前观测形成高层决策上下文：
ht = ( ℓ, Mt−1, z*t−1, ot )
生成后的子任务z*t再作为低层策略的语言指令，去生成具体的动作块。这个框架本身很干净，问题出在“单次前向传播”上。几乎所有主流分层VLA模型，在生成高层子任务时都只做一次前向传播，没有对比备选方案，也没有预判物理后果。这正是τ₀-VLA要改变的——把“生成下一个子任务”从单次映射变成可扩展计算的推理问题
τ₀-VLA核心机制：世界模型引导的测试时计算 如果说引言部分讲的是“为什么要做”，那这一节就讲讲“怎么做”。τ₀-VLA的高层策略不是单一模型，而是四个模型协作的推理系统：提案模型（Proposal Model, P） 世界模型（World Model, W） 价值模型（Value Model, V） 反思模型（Reflective Model, F）
先看提案模型。在推理步骤t的开始，提案模型接收决策上下文ht，更新执行记忆并生成一个直接的子任务提案：
这里的关键在于，提案模型在同一次前向传播中还会输出一组token置信度统计，用来算出一个路由器信号gt。gt = 0走快速通道，直接把直接提案当最终子任务；gt = 1则调用额外的测试时计算（TTC，Test-Time Computation）。这个自适应路由非常实用——简单的决策不做无畏的搜索，困难的决策才投入重兵。就像你开车出停车场不需要导航（除非你真的迷路了），但上高速去陌生城市一定得开导航。
当TTC被触发，系统进入束搜索循环。对每个保留的分支，提案模型独立采样N次，生成N个候选子任务。每个候选子任务会送到世界模型那里，世界模型基于当前分支的头戴相机图像õ和候选子任务z，预测执行该子任务后的终端图像：
ô = W(õ, z)，v = V(ℓ, z, ô)
看到没有，这个预测图像就是“想象后果”。模型在真正动手之前，先在脑子里过一遍这个子任务做完后世界会变成什么样。价值模型再接棒，结合全局任务指令ℓ、候选子任务z和预测图像ô，给出一个五档质量评分，从“明显错误”到“明显正确”映射为0.05到0.95的标量值。然后束搜索按累积分数全局保留Top-B个分支，递归扩展到深度D。
这个搜索过程还有个细节值得注意——搜索中产生的所有记忆都是分支本地的，它们不会覆盖持久化的执行记忆Mt。每个分支拥有自己独立的“假想历史”，互不污染。用公式表达就是，子分支的累积分数S(b⊕z) = S(b) + v(b⊕z)，子分支的上下文则更新为(ℓ, 分支记忆, 子任务, 预测图像)。整个过程用Algorithm 1的SEARCH操作封装，系统闭环推理流程也整理成了清晰的伪代码：
算法1 闭环系统推理
输入：任务指令ℓ，模型P、W、V、F、πθ；控制元数据η，动作水平H，
分支因子N，束宽B，搜索深度D
1: 初始化 M0 = ∅，z*0 = ∅
2: for t = 1, 2, ... 直到任务终止 do
3: 观测 o_t 和 s_t
4: h_t ← (ℓ, M_{t−1}, z*_{t−1}, o_t)
5: (z^dir_t, M_t) ← P(h_t)
6: 由提案token置信度计算 g_t
7: h̄_t ← (ℓ, M_t, z*_{t−1}, o_t)
8: if g_t = 0 then
9: z*_t ← z^dir_t # 快速通道
10: else
11: C_t ← SEARCH(h_t, P, W, V, N, B, D)
12: z*_t ← F(h̄_t, C_t) # 反思模型决策
13: end if
14: a_{t:t+H−1} ← πθ(o_t, s_t, z*_t, η)
15: 执行动作块 a_{t:t+H−1}
16: end for搜索结束后，反思模型F登场。它以观测对齐的真实上下文h̄t和保留分支摘要Ct为条件，生成最终的子任务：
有意思的是，反思模型的输出可以复用某个保留的候选提案，但并不是简单的“在候选中挑一个”，它可以跳出候选集，生成全新的子任务。就好比你看了一堆旅行攻略，最后决定自己设计一条新路线。
执行记忆的设计也花了心思。为了让模型在部署时能够修正自己的错误，论文构造了五种记忆扰动实例，只扰动输入记忆，正确答案仍然从演示中读取：包括记忆滞后需要追赶、记忆超前需要回滚、未察觉的失败需要识别恢复等。训练让提案模型学会不断校正自己的记忆状态，而不只是机械地追加记录。这种“自我纠错”训练方式，对长时程任务的成功率提升贡献显著。
分层架构设计：高层语义推理与低层统一控制 说完了“想”，再来看“做”。τ₀-VLA的低层策略走的是当下主流VLA模型的技术路线：预训练的视觉-语言骨干（Vision-Language Backbone）结合混合Transformer动作专家（Mixture-of-Transformers, MoT）
*表格超出部分左右可以滑动
留白占位：表格IV的详细维度布局（图片见下）
这个40维空间覆盖了末端执行器、手臂关节、夹爪、腰部和移动底座。每个样本通过掩码机制激活自己的有效通道——比如固定底座的操作臂只需要激活手臂和夹爪的通道，移动机器人则额外激活底座通道。这样同一个模型就能支持固定底座操作、双臂协调和移动全身控制，不需要为每种机器人专门设计输出头。
表IV：40维统一状态和动作空间的规范布局。维度从1开始编号，旋转矩阵R = [r₁, r₂, r₃]使用Rot6D(R) = [r₁ᵀ, r₂ᵀ]ᵀ表示。这张表定义了整个模型的输入输出接口规范，不同机器人通过掩码选择自己的维度子集。
动作生成采用条件流匹配（Conditional Flow Matching）的方式。简单来说，就是学习一个从噪声到动作块分布的速度场。由于不同本体占用的通道不同，论文对流动路径和训练目标都做了掩码处理，只监督激活的通道。数学上，给定动作掩码矩阵M，插值后的动作和目标速度分别表示为：
aτt+j = τMεt+j + (1−τ)Mat+j，ut+j = M(εt+j − at+j)
其中τ∈[0,1]是流时间，τ=1表示纯噪声、τ=0表示干净动作；ε是高斯噪声；M是对角掩码矩阵，第i个对角元素为1表示该通道激活。训练的损失函数是掩码后的均方误差：
LFM = E[ (1 / (H·tr(M))) · Σj=0H−1 ‖Mvθ,t+jτ − ut+j‖₂² ]
训练数据方面，低层策略在40,115小时的异构真实世界数据上训练，混合了人类演示、自主策略rollout和UMI风格录制，覆盖固定底座、移动和双臂等多种本体。训练还穿插了多模态视觉-语言数据，保持视觉语言骨干的语义能力——这叫多模态协同训练（multimodal co-training）。训练分三阶段：先是知识隔离的联合训练，让动作专家从骨干学习控制表征但不过度扰动预训练权重；然后端到端联合训练，让动作梯度把骨干表征调整得更适合控制；最后按部署任务做少量微调。
实验结果：从成功率到跨本体泛化的全面突破 光说不练假把式。τ₀-VLA在真实物理机器人上做了大量闭环实验，任务包括整理房间（25步）、准备食材（14步）、番茄炒蛋（22步）、制作奶茶（13步）、收集衣物（5步）和整理梳妆台等多个场景，单次试验最长可达12分钟。先看任务的整体设定：
图3：物理机器人评估任务展示。(a) 整洁房间：需要收集两件脏衣服放入洗衣篮，挂好手提包，把毯子递给一个人，并处理桌面垃圾。(b) 准备食材：需要取番茄和鸡蛋，打蛋并搅拌，同时归还工具。(c) 番茄炒蛋：需要切番茄、转移食材、烹饪调味、装盘，并归还锅具和餐具。(d) 制作奶茶：需要加配料、倒牛奶和茶、封杯并插吸管。(e) 收集衣物：需要把T恤从床头柜转移到洗衣篮。(f) 整理梳妆台：包含三个分别计分的指令跟随组，要求从匹配的视觉状态中选择不同的物体和动作序列。
先看长时程任务的闭环性能总表。每个方法-任务组合跑10次独立试验，SR是成功次数（x/10），Progress是归一化的里程碑完成分数，Avg.是四个任务级成功率的未加权平均。前四行是直接执行基线，最后一行是分层系统但高层只用单次前向（Plan Once，无束搜索）：
表I：长时程任务性能。每种方法-任务组合使用10次独立收集的物理机器人试验。SR报告成功试验次数为x/10，Progress是归一化的里程碑完成分数。Avg.是四个任务级成功率的未加权平均。前四行使用直接执行，最后一行使用分层系统+Plan Once（无束搜索）。
直接执行模式下，四个长时程任务的平均成功率只有2.5%，几乎全军覆没。而换成分层系统+Plan Once，平均成功率直接拉到17.5%——光是“把子任务生成和动作执行分开”这件事，就让准确率有了质的飞跃。论文图4进一步展示了在不同高层推理方法下的下一子任务预测准确率对比：
图4：不同高层推理方法下的下一子任务预测准确率。对比Plan Once（单次规划）、Best-of-N（采样N个选最优）和TTC（本论文方法）在四个评估场景下的表现：制作奶茶、书籍整理（域内）、书籍整理（分布外OOD）和整洁房间。可以看出，TTC在几乎所有场景都显著领先，尤其是在分布外设置下，TTC的优势更加明显，说明搜索带来的推理能力具有更好的泛化性。
TTC的优势不只是“预测更准”。论文特别验证了一个关键问题：测试时计算算得越多，是不是真的做得越好？图5给出了计算成本与子任务预测准确率的关系曲线：
图5：计算成本与子任务预测准确率的关系。(a)制作奶茶任务和(b)书籍整理任务的准确率都随计算量增加而提升。每个点代表不同计算成本下的实验结果，橙色虚线是饱和拟合曲线，灰色虚线是Plan Once基线。可以看到，TTC的准确率远高于Plan Once基线，并随着计算预算增加持续走高，虽然增速在放缓，但还没有出现“算得越多越差”的负收益现象。
不过，图5也揭示了一个现实问题：准确率的提升曲线是饱和增长
真正的亮点在闭环物理机器人实验。表III展示了带TTC的分层系统在四个长时程任务上的表现：
表III：带测试时计算的闭环物理机器人性能。每个条目使用10次独立收集的试验。书籍整理使用打乱的初始排列，不区分域内和域外。SR表示任务成功率，Progress是归一化的里程碑完成分数。加TTC后，四个长时程任务的平均成功率从17.5%提升到45%，涨幅超过2.5倍。其中制作奶茶任务从10%拉到50%，整洁房间甚至做到了60%的成功率。
跨本体泛化方面，论文在ARX机器人上验证了收集衣物任务（5步）：
表II：跨本体直接执行性能。整理梳妆台包含三个分别计分的指令跟随组。所有方法直接执行完整任务指令，不使用高层策略。每个任务或任务组评估10次。这里考察的是低层统一控制接口的泛化能力——同一套参数在不同机器人本体上直接执行的表现。
从整体结果看，τ₀-VLA的贡献是两层的：低层策略用40,115小时异构数据训练出的统一控制接口，解决了“跨本体执行”的问题；高层策略用世界模型引导的TTC搜索，解决了“长时程决策”的问题。两者叠加，才促成了长时程任务成功率的全面突破。
总结与展望：机器人基础模型的推理时代 τ₀-VLA带来的最大启发，是把“推理时计算”这种在LLM领域已经验证过的范式，成功搬到了机器人决策层面。它证明了：对于长时程任务，高层子任务生成其实是一个适合“多花算力”的推理问题，而不是一个“一次前向”的映射问题。子任务恰好是机器推理的天然单元——比动作更稀疏，比语言更贴近物理世界。
当然，论文也如实展示了局限。比如计算收益呈饱和趋势，TTC的搜索开销在真实机器人上会带来决策延迟，部署时需要用异步流水线才能缓解。另外，虽然TTC在分布外场景下表现出优势，但基座模型的视觉推理能力仍然是天花板——如果世界模型预测不准，后面的价值评估和搜索就会在错误的基础上叠加错误。
展望未来，有几个方向值得关注：一是更高效的世界模型，用视频预测替代单帧图像预测，捕捉更丰富的物理动态；二是更聪明的路由机制，不只靠token置信度，而是学习一个专门的路由策略；三是把TTC从高层决策延伸到低层动作选择，形成“两层都思考”的完整推理系统。这个方向会不会成为机器人基础模型的标配？龙哥觉得很有希望——毕竟，连机器人都开始“三思而后行”了，这说明机器人离真正“懂事”又近了一大步。
龙迷三问 这篇论文到底在解决什么问题？ 智元机器人联合上海创新研究院、港中大提出τ₀-VLA，将高层子任务生成建模为可扩展计算的推理问题，通过世界模型预测结果、价值模型评分、束搜索择优，在40,115小时异构真实数据上训练，长时程任务平均成功率45%，显著优于基线。这篇工作最值得看的点是什么？ 在长时程任务上，分层系统（Plan Once）平均成功率45.0%远超直接执行基线（τ₀-VLA 27.5%，π₀.₅ 22.5%）；启用TTC后进一步显著提升成功率（如Book Organization从6/10提升至9/10）；跨本体直接执行中τ₀-VLA在Collect Laundry和Tidy Makeup Table上全面领先。这篇工作的边界或风险在哪里？ 优点：(1)将高层子任务生成形式化为可扩展计算的推理问题，创新性地将测试时计算引入机器人分层决策；(2)世界模型引导的束搜索+反思模型机制有效提升决策质量；(3)统一40维动作空间支持跨本体部署；(4)执行记忆可纠错机制增强长时程状态追踪。缺点：(1)系统复杂度高，涉及多个模型（提议、世界模型、价值模型、反思模型、低层策略）的协同；(2)TTC推理延迟约1秒，可能限制实时性要求高的场景；(3)对世界模型预测质量依赖较强，预测误差可能传播；(4)任务特定微调仍需少量演示数据。如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~
龙哥点评
论文创新性分数： ★★★★☆
提出分层机器人基础模型τ₀-VLA，高层策略通过世界模型引导的测试时计算（束搜索+反思模型）生成子任务，低层策略在统一40维动作空间上执行，实现长时程操作。实验合理度： ★★★★☆
成功率(SR)、进度(Progress)、下一子任务预测准确率、推理时间。学术研究价值： ★★★★☆
提出分层机器人基础模型τ₀-VLA，高层策略通过世界模型引导的测试时计算（束搜索+反思模型）生成子任务，低层策略在统一40维动作空间上执行，实现长时程操作；更关键的是问题定义是否可复用到同类任务。稳定性： ★★★☆☆
现有材料未提供充分的极端条件、重复运行或扰动测试，稳定性暂按中性评价。适应性以及泛化能力： ★★★☆☆
现有材料未完整展示跨数据集、跨场景或分布外实验，泛化能力仍需进一步验证。硬件需求及成本： ★★★☆☆
高层策略TTC推理约1秒刷新一次，低层策略控制频率约30Hz，动作块水平H=30，10步均匀欧拉更新。复现难度： ★★★☆☆
现有材料未确认完整代码、配置、数据处理脚本和权重是否齐备，复现难度暂按中性评价。产品化成熟度： ★★★☆☆
论文验证以研究实验为主，真实部署中的时延、成本、维护和异常场景仍需补充验证。可能的问题： ，创新性地将测试时计算引入机器人分层决策；(2)世界模型引导的束搜索+反思模型机制有效提升决策质量；(3)统一40维动作空间支持跨本体部署；(4)执行记忆可纠错机制增强长时程状态追踪。缺点：(1)系统复杂度高，涉及多个模型（提议、世界模型、价值模型、反思模型、低层策略）的协同；
*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～ 想了解更多原文细节的小伙伴，可以点击 "阅读原文"， 查看更多原论文细节哦！
