东京大学机器人三维视觉：F² SLAM让快追踪与慢思考共用一张地图，Replica误差降至2毫米

龙哥导读

机器人一边走一边建图，最怕两种聪明互相打架：快速跟踪能紧盯相邻画面，却容易把小误差一路积累；前馈三维模型能同时看更宽的多视角上下文，却常在外面另做一张地图。东京大学等单位提出的 F² SLAM，尝试让“快追踪”和“慢思考”都把证据写进同一张持续更新的因子图。最关键的不是多接一个模型，而是给慢速预测加了一道门：和当前几何状态对不上，就不准改图。

想象一台机器人推着小车穿过办公室。它刚看完走廊，转进会议室，又绕过桌角。每移动一点，都要回答三个问题：相机现在在哪里？画面里的点在三维空间什么位置？刚刚估计出来的地图，要不要因为新画面而修改？这三个问题如果答得慢，机器人会反应迟钝；如果答得快却不稳，路线就会越走越偏。

传统视觉同步定位与建图（SLAM）通常擅长局部连续跟踪。相邻两帧变化小，像素对应关系容易找，系统可以高频更新相机位姿和深度。它像一个反应很快的司机，时刻修正方向盘。但连续很多帧后，细小误差会累积；遇到重复纹理、弱纹理、突然转身或遮挡，局部判断也可能失灵。

另一条路线是前馈三维模型。它一次看多张图，直接预测相机、深度、点图或跨视角对应关系，更像停下来抬头看全局。问题是，这些预测经常被当成一份外部几何结果：先生成，再和在线地图对齐、融合，或者只用来初始化。系统里于是出现两套状态、两套坐标尺度和两套置信度，谁该听谁的并不自然。

F² SLAM真正想解决的，是如何让两种速度、两种模型、两种视野，在同一套优化语言里共同工作。它没有让前馈模型取代在线跟踪，也没有把前馈结果永久摆在优化器外面，而是把两边输出都改写成“目标位置 + 置信权重”的稠密测量，再交给同一个后端优化。

原论文图1：上方是主要依赖局部测量的传统稠密建图，下方是 F² SLAM。后者把更宽多视角上下文产生的前馈测量送进同一套持续因子图。图片来源：论文原文。

一、先讲人话：机器人为什么需要“快脑”和“慢脑”

高频流负责眼前。新画面进来后，它判断是否应当插入关键帧，寻找时间上相邻、几何上接近的旧关键帧，建立双向连接，再快速更新局部像素对应。因为只处理近邻关系，它能频繁运行，及时跟上相机运动。这里使用循环稠密建图更新器：根据当前重投影、相关特征和隐藏状态，预测像素目标应往哪里移动，以及这次移动有多可信。

低频流负责回头看。系统积累一段关键帧后，让多视角模型读取更大的上下文窗口。它不再只问“上一帧到这一帧怎样变”，而是同时比较一组图像，补充更长距离的几何关系。这个过程计算更重，不需要每帧运行；它更像隔一段时间做一次复盘，检查局部跟踪留下的地图有没有可以纠正的地方。

关键设计在于，两条流并不各自维护一张地图。系统只保留一套持久几何状态：每个关键帧的相机位姿、稠密逆深度，以及在相机未标定时可共同优化的内参。高频流负责增加图的边、维持连通性；低频流只能刷新已经存在的边上所保存的测量，不能偷偷再建一套图。

这就像一家公司只有一本总账。高频流是每天录入流水的会计，低频流是定期复核的审计员。审计员可以指出某笔账应该重记，却不能另外藏一本永远对不上的账。统一状态的价值，是每次纠正都会同时影响相机位置、场景深度和后续测量，而不是只在展示层把两张地图拼到一起。

二、核心结构：一张持续因子图，两个不同节奏的测量源

论文把关键帧看作图中的节点，把两帧之间的稠密像素约束看作边。每条有方向的边保存一份测量：源图像中的像素，在目标图像中应该落到哪个坐标；横向和纵向残差各有多大权重。系统不是直接相信某个模型给出的完整三维世界，而是把模型判断拆成优化器可以逐像素检查的证据。

几何状态 Xₜ = {每个关键帧的相机位姿 Tᵢ、逆深度 dᵢ}
              + {可选的相机内参 θ}

边上的测量 Mᵢⱼ = {目标像素位置 p*ᵢⱼ、置信权重 wᵢⱼ}

这里的逆深度可以理解成“距离越近，数值越大”的深度表示，适合参与相机几何优化。Tᵢ 描述第 i 个关键帧的相机位置和朝向；θ 描述焦距等相机内参。p*ᵢⱼ 是源图像像素在目标图像中的期望落点，wᵢⱼ 则告诉优化器：这个像素的横向和纵向误差应该被多认真对待。

高频流用当前几何投影作为起点，再预测一个小位移修正。低频流则直接预测完整的跨视角位移，不是给当前投影再打一个补丁。两者架构完全不同：前者依赖局部相关和循环状态，后者先提取单图特征，再让多视角变换器在窗口中聚合，最后解码位移和置信度。

论文要求两边最终落到同一网格、同一坐标系、同一种目标—权重格式。低频模型给出的相机和深度还要先做规范对齐，消除尺度和参考坐标差异。否则，一个模型说“向前一米”，另一个模型说“向前一个任意尺度单位”，再精确的优化器也无法公平比较。

原论文图2：上方低频流在更宽窗口中生成候选测量，下方高频流维持关键帧和图连接；中间的一致性检查决定低频候选能否刷新旧因子，右侧统一优化相机、深度和可选内参。图片来源：论文原文。

读图时可以抓住三条线。第一条是快速链：新帧、关键帧选择、近邻配对、局部更新。第二条是慢速链：窗口聚合、多视角预测、坐标规范对齐、候选测量。第三条是共同出口：所有被接受的测量都进入同一个稠密束调整。真正连接快慢两条链的，不只是箭头，而是中间那道状态一致性检查。

三、最重要的一道门：慢速模型说得再自信，也要先和地图对账

前馈模型一次看得更广，不等于每次都更准。遮挡会让同一物体在不同视角消失，动态物体会破坏静态世界假设，大视角变化会让对应关系难以建立，弱纹理墙面甚至没有足够视觉线索。若系统直接用低频预测覆盖旧测量，一次错误的“全局纠正”可能把本来稳定的局部地图拉坏。

F² SLAM先用当前位姿和深度，把源像素重投影到目标帧；再比较这个几何落点与低频模型预测的目标位置。差值就是重投影残差。一个候选像素只有在投影有效、模型置信度超过最低值时，才进入“支持集”；残差还小于固定几何阈值时，才进一步算作内点。

接受分数 sᵢⱼ =
平均置信度 × 内点比例 × √支持比例
────────────────────────────
1 + 内点平均重投影误差

这个公式的直觉很清楚。平均置信度高，说明模型自己更有把握；内点比例高，说明候选与当前几何在大量像素上相容；支持比例高，说明结论不是由很小一块区域碰巧撑起来；平均重投影误差越大，分母越大，接受分数就越低。支持比例开平方，是为了保留覆盖范围的作用，又不让它压倒其他因素。

候选需要同时通过两个条件：支持比例达到门槛，综合接受分数也达到门槛。通过后，它只刷新已有边上的测量，并在这条边剩余寿命里受到保护，避免高频流马上覆盖；拒绝后，旧测量原样保留。这不是在两个模型之间选永久赢家，而是逐条边、逐次更新地判断：这次慢速复盘，是否比当前地图更值得信。

这道门也解释了论文为什么强调“因子”而不是“融合”。普通融合容易变成两个结果做平均，但错误预测也会参与平均；因子图允许系统保留测量来源、权重和残差，用当前状态反过来检验新证据。前馈模型提供更远视野，几何优化提供一致性约束，双方各自弥补对方的短板。

四、统一优化到底在算什么：让位姿、深度和相机参数一起少犯错

所有入选测量最终进入稠密束调整。它做的事，可以理解成不断微调相机位姿和每个像素的深度，让几何投影位置尽量靠近模型给出的目标位置。权重高的像素影响更大，无效对应被遮罩，异常大误差通过稳健惩罚降低破坏力。

总目标 =
所有有效像素的加权重投影误差
+ λd × 深度图平滑约束
+ λθ × 相机内参偏离先验的代价

第一项是主角：投影点与目标点越接近，地图越自洽。第二项约束逆深度不要在没有证据时剧烈跳变，避免表面充满毛刺。第三项只在相机未标定或允许优化内参时出现，让焦距等参数可以适度调整，又不至于为降低像素误差跑到不合理范围。若标定已知，内参固定，这一项直接省略。

特别值得注意的是，一条边最终只贡献一份当前测量。低频结果被接受后，是替换旧测量，不是额外叠一个残差。这样能避免同一对图像因为两条流而被重复计票。边的来源标签和保护标记只决定测量怎样更新，不直接进入几何目标函数；后端只关心当前测量是否能让共同状态更一致。

从工程角度看，这种设计很务实。高频模块和低频模块以后可以换成别的网络，只要新模块能输出统一坐标中的位移和权重，并接受同一套入场检查，后端就不需要跟着重写。论文的可迁移价值，不只是一组网络参数，更是一种把新视觉先验接进老几何系统的接口。

五、四套基准怎么看：2毫米很亮眼，但不能只盯着一个数字

论文在四套常用基准上评估。慕尼黑工业大学彩色—深度室内数据集包含真实室内相机运动；7-Scenes覆盖多个室内场景；Replica是合成室内环境，光照稳定、运动模糊较少、相邻帧变化通常较小；自动驾驶里程计数据集则是更长距离的室外驾驶序列。轨迹使用绝对轨迹误差的均方根衡量，数值越小越好；重建使用准确度、完整度和双向表面距离，分别观察表面是否放对、缺失是否减少，以及预测与真实表面的整体距离。

在不使用真实相机内参的设定中，F² SLAM在三套数据上取得论文表格中的最佳平均轨迹结果，在7-Scenes上平均排名第二。最醒目的数字来自 Replica：平均绝对轨迹误差为0.002米，也就是2毫米；论文表中最强前馈基线平均为0.030米。这里的改进幅度很大，但 Replica 的稳定光照、有限运动模糊和较小帧间变化，正好有利于高频局部跟踪。

因此，这个2毫米更适合说明“局部快速跟踪 + 低频几何补充”在有利室内条件下能形成很强组合，而不是所有真实机器人环境都会达到毫米级。论文自己也把强结果与 Replica 的条件联系起来。面对玻璃、运动人群、快速转头、昏暗走廊和长距离闭环，系统会遇到更复杂的问题。

自动驾驶里程计数据集给出了另一面。带标定设定下，F² SLAM把深度视觉里程计建图系统（DROID-SLAM）的平均轨迹误差从554.82米降到67.19米，说明低频前馈几何确实能救回一部分长序列漂移；但带显式回环检测或专门全局优化的方法仍更强。系统当前没有回环模块，走远后重新看到旧地点时，无法像成熟长程建图系统那样主动闭合整条轨迹。

重建结果同样值得看。在7-Scenes上，准确度达到0.024米，与最佳结果相当；完整度从对照方法的0.030米降到0.015米，减少约50%；Chamfer距离从0.027米降到0.019米，减少约30%。这说明低频流的价值不只体现在相机路线，也能帮助补回局部跟踪约束较弱、容易缺失的场景表面。

原论文图3：代表场景的重建对比。每一列对应一种方法，图中可比较墙面、家具轮廓和空洞区域的连续程度。论文报告 F² SLAM产生更连续的几何并减少缺失。图片来源：论文原文。

读这张图不要只看“更像照片”。三维重建图真正要看的是表面是否连贯、物体边界是否稳定、原本应该有几何的位置是否出现空洞、错误表面是否漂在空间里。定性图与准确度、完整度一起看，才能判断数字改善是不是落到了可见几何上。

六、消融实验揭底：真正不可少的是“先对账，再刷新”

完整模型在 Replica 消融中，轨迹误差从基础跟踪的0.0027米降到0.0023米，重建准确度从0.0303米改善到0.0266米，完整度从0.0188米改善到0.0174米。前馈初始化和后续测量刷新都能独立带来收益，说明“起点更好”和“运行中持续纠正”是两件不同的事。

去掉规范对齐后，轨迹和重建都会退步。这很好理解：不同预测源的尺度、方向和参考坐标如果没有先统一，候选像素位移就无法和当前地图直接比较。它提醒工程团队，接入一个更强模型时，第一件事不是把输出塞进系统，而是先确认量纲、坐标和置信度是否说同一种语言。

最有冲击力的是去掉状态一致性门控：Replica 轨迹误差从完整模型的0.0023米恶化到0.5848米，相差两个数量级以上。慢速模型提供的信息原本是为了纠偏，少了拒绝机制后反而能摧毁系统。这组消融支持的核心结论，不是“前馈模型越强越好”，而是“外部先验必须被当前状态验证后，才有资格修改在线系统”。

论文还检查了低频上下文窗口。窗口太小，看不到足够多视角关系；窗口扩大，可以获得更宽的几何上下文，但计算和错误关联风险也会增加。结果表明，不是简单把所有历史都送进模型就最好。系统需要在覆盖范围、帧间重叠、计算成本和预测稳定性之间找到合适区间。

原论文图4：横轴是低频上下文最大关键帧数量，纵轴分别观察轨迹与重建误差；各项都是越低越好。图片来源：论文原文。

七、融会贯通：它和两类代表性建图系统差在哪

DROID-SLAM提供了“快”的骨架。它用循环网络反复更新相机位姿与逐像素深度，并把稠密束调整嵌入系统，擅长稳定处理连续视频。F² SLAM并没有否定这条路线，高频流直接继承了这种局部相关、循环更新和共同优化的思想。它所增加的，是一条周期更慢、视野更宽的测量刷新通道。

换句话说，DROID-SLAM更像一个持续工作的基层系统，F² SLAM则给它加了定期复核机制。没有高频骨架，机器人难以及时跟踪；没有低频复盘，长一点的上下文信息就难以进入当前地图。论文的消融也说明，两条流不是简单替代关系。

三维重建先验建图系统（MASt3R-SLAM）代表“从强三维先验出发重做系统”的路线。它以两视图三维重建和匹配先验为基础，设计点图匹配、相机跟踪、局部融合、建图、回环和二阶全局优化，目标是实时输出全局一致的位姿与稠密几何。它的体系更强调强先验驱动的完整建图链。

F² SLAM关注的是另一个接口问题：前馈几何能否不作为外部一次性状态，而是被改写成因子，持续进入现有几何后端。它的好处是保留成熟高频跟踪，又能逐步引入新模型；不足是当前没有显式回环，长距离全局一致性仍有明显缺口。二者不是简单的“新方法打败旧方法”，而是两种系统组织方式。

这组对比给出一个更一般的判断：基础模型进入机器人系统，不一定要接管所有状态。另一条更稳健的路，是把它变成可检查的测量源。模型负责提出候选，传统几何负责对账，优化器负责协调冲突。这样既能利用新模型的上下文能力，也能保留系统已有的可观测误差和拒绝机制。

八、落地要算三笔账：速度、硬件和失效恢复

第一笔是计算账。论文实验使用单张40GB显存的英伟达A100显卡和服务器级处理器。高频流需要持续运行，低频多视角聚合虽然不每帧触发，仍会带来显存和时延开销。真实机器人若只有边缘计算模块，需要进一步压缩特征、限制窗口、异步调度，或者把低频刷新放到算力更充足的设备。

第二笔是传感器与场景账。稳定室内序列、纹理丰富表面和较小帧间运动有利于局部对应；弱纹理、动态物体、大视角改变和尺度模糊会降低低频预测可靠性。虽然门控可以拒绝不一致候选，但“拒绝错误更新”只是不把系统变坏，并不会自动补出缺失信息。极端情况下，两条流都拿不到可靠证据，系统仍会漂移或丢失跟踪。

第三笔是长程恢复账。系统没有显式回环检测。机器人绕一大圈回到起点时，认出旧地点并全局收紧轨迹，是长程部署的重要能力。F² SLAM的低频上下文比局部跟踪更宽，但它仍不是完整回环模块。仓库巡检、园区配送和长距离自动驾驶若把这项能力当硬要求，还需要额外接入地点识别和全局图优化。

因此，近期更合适的应用，是有连续视觉输入、需要稠密几何、又能承受较强显卡的机器人研究平台、增强现实原型和室内建图系统。它尤其适合验证一种架构：快速模块守住实时性，慢速模型提供更宽上下文，所有更新通过共同状态和一致性门控落地。

九、这套思路为什么不只属于建图

持续运行的机器人系统都会遇到相似矛盾：短周期模块反应快、状态连续，却只看得到局部；大模型看得广、能补语义和先验，却可能偶尔给出与现场冲突的判断。导航地图、目标跟踪、物体记忆、抓取状态甚至多传感器定位，都需要决定外部模型的结论能不能写进长期状态。

F² SLAM给出的答案可以抽象成四步：先把不同模型输出改写成同一种测量；再统一坐标、尺度和量纲；随后用当前状态计算残差与覆盖范围；最后只让通过检查的候选更新共享状态。这样，大模型不必拥有最终解释权，传统系统也不必拒绝所有学习先验。

例如，语义地图可以让视觉语言模型提出“这片点云属于桌子”的候选，但在写入长期地图前，仍应检查跨帧位置是否稳定、多个视角是否支持、置信度是否持续；抓取系统可以让大模型提出物体姿态，却要经过深度、接触和运动学约束后再修改控制状态。共同原则都是：能力越强的模型，越要给它清楚的写入协议。

这也改变了评估方式。研究者不能只看离线模型单次预测多准，还要看它进入在线系统后，错误会不会累积、拒绝率是否过高、延迟是否拖慢主循环、失败后能否恢复。F² SLAM用“去掉门控后系统崩坏”的消融，把接口安全性本身变成了可测量对象，这是比单一排行榜更有工程含量的部分。

龙哥点评

这篇工作最值得肯定的地方，不是把一个新的前馈三维模型塞进 SLAM，而是认真处理“模型输出凭什么修改在线状态”。统一目标—权重表示、规范对齐、逐候选一致性检查和单一稠密束调整，共同组成了一条完整接口。尤其是去掉门控后误差从0.0023米跳到0.5848米，让这道门的价值不再只是结构图上的装饰。

从研究启发看，它展示了几何方法与视觉基础模型不必二选一。基础模型可以负责提出更宽上下文中的候选关系，几何系统负责检查坐标、残差和可接受性。类似思想也能迁移到机器人状态估计、地图语义更新和多传感器融合：任何高能力模型想写入长期状态，都应给出可验证证据，并允许系统拒绝。

它的不足也很明确。Replica的2毫米结果非常吸引人，但场景条件对高频跟踪友好；长距离自动驾驶序列暴露了没有回环的代价。当前系统还依赖较强显卡，低频前馈预测面对动态物体、弱纹理和大视角变化时会变得不稳。下一步真正影响落地的，不只是再换一个更大模型，而是补齐回环、失效恢复、边缘部署和跨场景稳定性。

如果用一句话概括：F² SLAM的价值，是让“慢而广的三维理解”学会遵守“快而连续的在线系统”的记账规则。这比单纯追求更漂亮的一次性三维预测，更接近机器人长期运行时真正需要的能力。

龙迷三问

第一问：为什么不直接让低频大模型重建整张地图？
因为在线机器人需要连续状态。每次重新生成整图，再对齐旧图，会引入尺度、坐标和融合冲突；把预测转成现有边上的测量，可以让它只修改有证据支持的部分，并由统一优化把影响传到位姿和深度。

第二问：门控会不会过于保守，把真正有用的新信息也拒绝掉？
会存在这种可能。阈值过严，低频流贡献会变少；阈值过松，错误更新会进入地图。论文通过支持比例、置信度、内点比例和重投影误差共同打分，并做阈值与窗口消融，但跨场景自适应门槛仍是值得继续研究的问题。

第三问：2毫米是否说明机器人已经能精准导航？
这个数字来自 Replica 合成室内基准的平均轨迹误差，说明方法在该评测条件下很强。真实机器人还要面对传感噪声、振动、动态人群、反光、长期运行、回环和算力限制。判断能否部署，要看目标场景是否接近评测条件，并补做端到端实机测试。

主要参考资料

本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。