← 返回 PaperDaily 视觉与图像

UW最新研究：VLM+MR给路痴导航，场景识别提升22%

方向感差不是智商问题，而是注意力投错了地方。这篇论文用20人的VR眼动实验抓出了路痴和认路高手的本质差异，再把这个差异翻译成VLM提示词，做成了混合现实导航系统——直接让场景识别率提升22%，地标回忆数量翻倍。导航软件终于开始考虑“让你记住路”而不是“替你走完路”了。

龙哥读论文发布于 2026-09-04 00:20:01 阅读 2 查看原文

#AI应用 #多模态 #数据集

paperdaily_reaction_gif

原论文信息如下：

论文标题:
LandmarkLens: Predicting and Presenting Effective Landmarks for Mixed-Reality Urban Exploration

发表日期:
2026年08月

发表单位:
华盛顿大学（University of Washington）与东京大学（The University of Tokyo）

原文链接:
https://arxiv.org/pdf/2608.30142v1.pdf

开源代码链接:
https://github.com/makeabilitylab/landmarklens

开源数据集链接:
https://github.com/makeabilitylab/landmarklens

导航软件打开得越勤，方向感反而越差——这句话听起来像段子，但仔细想想，很多人都有这种体验：跟着导航走了一百遍的路，关掉导航依然不认路。问题出在哪？不是你的大脑不行，而是你根本没在看路。现有的逐向导航关注的是“效率”，怎么走最短、最快转弯，至于路上有什么值得记的地标，全被它自动忽略了。长此以往，大脑里连一张像样的认知地图都建不起来，方向感自然越来越差。

华盛顿大学和东京大学的研究者这次换了个思路：不替你把路走完，而是帮你学会认路。他们先通过20人的VR眼动实验，找出方向感好的人到底在看什么；再把这种“会看路”的注视模式和语言策略翻译成视觉语言模型（VLM）的提示词，做成了一套混合现实（MR）导航系统LandmarkLens。简单说，就是让导航软件学着“高手认路”的方式，把沿途值得记住的地标主动高亮给你看。结果显示，这个系统让方向感差的用户在场景识别任务上提升了22%，地图素描中回忆出的地标数量接近翻倍。这篇论文告诉你：方向感或许不是天生注定的，注意力投对了地方，路就能记住。

方向感差的人怎么认路？20人VR实验揭示关键差异

LandmarkLens在混合现实街景环境中高亮导航相关地标。彩色圆圈标记预测的地标；方向箭头引导用户关注视野之外的高亮物体。

要让人工智能学会“教人认路”，第一步得搞清楚：认路高手和路痴在路上看东西的方式到底有什么本质区别。这个问题听起来简单，但过去的研究大多停留在问卷调查和口头报告层面——让人回忆“你刚才看到什么了”，结果往往掺杂了大量事后加工和记忆偏差。LandmarkLens的作者做了一个更狠的实验设计：在虚拟现实里让参与者真实走一遍东京街头，同时用眼动仪记录他们每一帧在看哪里，全程录音捕捉他们嘴里说出了什么。

实验招募了20名参与者，按照圣塔芭芭拉方向感量表（Santa Barbara Sense-of-Direction Scale，简称SBSOD，一个被广泛使用的自我报告式导航能力评估工具，满分7分）分成两组：10名方向感好的人（平均6.0分）和10名方向感差的人（平均2.9分）。他们在定制的VR街景导航系统中走完8条路线，覆盖东京四个典型街区——根津的下町风情、高圆寺的本地生活气息、银座的办公楼丛林、锦丝町的商业喧嚣。系统跑在三星Galaxy XR头显上，每只眼睛3552×3840分辨率，内置四颗眼动追踪摄像头，以72Hz的采样率记录注视点、头部位姿和操作事件，语音则通过外接麦克风全程录制。

用于地标注意力研究的定制VR街景导航系统。方向箭头指示可用的移动选项，交叉口处会出现转弯通知。

数据分析的结果相当有说服力。研究者从约165万条注视样本中提取出四个维度的眼动指标：注视分布广度、注视频率、注视时长、头部转动幅度。方向感好的组在总体注视广度上显著大于方向感差的组，这个差异主要由水平方向的注视广度贡献，垂直方向则没有显著区别。更有意思的是头部转动的差异：方向感好的人头部偏航角的标准差达到36.0度，方向感差的人只有28.2度——高手们不只是眼睛更“贪心”，整个头都在主动转动，去扫视更宽阔的街景。而注视频率和注视时长两组没有显著差异，说明差异不在于“看得多仔细”，而在于“看得多开阔”。

图3：各组不同的注视模式示例。方向感好的导航者关注（A）指路标志和（B）永久性商店标识。方向感差的导航者注视（C）菜单和临时标牌。（D）方向感好的导航者转头注视作为全局地标的东京晴空塔；方向感差的导航者则没有。

如果说眼动数据揭示了“看哪里”，那么口述数据则揭示了“记什么”。研究者对参与者的口头描述进行了混合演绎-归纳式编码，总共标注了1009条来自方向感好组的地标提及和1170条来自方向感差组的提及。两组人最常提到的都是非住宅建筑，但关键差异出现在其他类别上：方向感好的人明显更多提及指路标志（占比5.8%对比1.8%）和永久性商店标识，而方向感差的人则更频繁提到装饰性元素（3.5%对比0.5%）、建筑物局部（2.5%对比0.6%）、行人（1.9%对比0.1%）、停放的单车（0.9%对比0.3%）以及不包含任何位置信息的通用标牌（2.6%对比0.7%）。

最令人印象深刻的发现来自银座的一个场景：两组人注视着同一张竞选海报，反应却截然相反。方向感好的A01参与者直接说：“我不需要提它，这海报以后会被撤掉。”而方向感差的A19参与者却说：“希望他们下次我来的时候别换掉这个活动。”两人都看到了海报，但一个人主动把它从空间记忆里过滤掉了，另一个人却把它编码了进去。这说明路痴和认路高手的差距不全在视觉感知层面，更在于一个评估过滤机制——高手会本能地判断哪些东西是“永久可用的导航线索”，哪些只是“路过即忘的临时噪音”。

图4：注视分布概况。（A）等距柱状投影全景图上的2D热力图。（B）方位角分布及用于VLM裁剪范围的百分位边界。

图5：各组注视、注视点和头部运动情况。方向感好的导航者的总体注视广度、水平注视广度和头部偏航变化显著更大。注视模式在各组间无显著差异。

从眼动数据到VLM提示词：地标预测流水线的四步设计

实验做完了，差异找到了，但怎么把这些发现变成能大规模落地的系统？总不能每次用导航都先拉20个人来做眼动实验吧。LandmarkLens的关键贡献之一，就是把上述实证研究发现翻译成了一条可自动运行的地标预测流水线。整个过程分四步：基于注视信息的图像裁剪、基于VLM的地标检测、基于嵌入向量的去重、以及二次验证。

第一步是图像裁剪。原始的全景图片覆盖360度×180度的完整视野，但导航者实际把注意力集中在前进方向的一个子集上。如果整张图丢给检测模型，天、地面和身后的大片无关区域会稀释检测效果。研究者采用了一个聪明的做法：直接用方向感好的人的注视分布百分位边界来定义裁剪范围。具体来说，每张全景图先旋转到以行走方向为中心；在交叉口处，额外做半圈旋转，让裁剪区域同时覆盖接近方向和转弯方向的角平分线。基于90分位数的方位角区间，非交叉口裁剪到180度，交叉口放宽到270度。裁剪区域内部还有一个更窄的引导区域——基于75分位数区间，非交叉口90度、交叉口120度——用于在提示词中标记“优先检测区”。垂直高度则统一用95分位数的仰角区间。

第二步是VLM检测。这里有个值得注意的设计决策：研究者一开始尝试过用DeepGaze模型在方向感好的人的注视热力图上做微调，希望用它预测“哪里显眼”。结果效果很糟糕，在锦丝町共同路线上的KL散度高达1.62，模型经常把路面和空墙高亮出来。根本原因在于，眼动实验已经证明了：真正区分高手和路痴的不是“看向哪里”，而是“觉得什么值得记”。这是一个语义层面的判断，像素级的显著性模型天然无法表达。于是研究者转向了视觉语言模型，使用Google Gemini 3.1 Pro Preview进行检测。提示词的设计直接来自实验中方向感好的人的口头描述策略——要求模型识别优先类别的导航地标，强调“在场景中的相对独特性”，比如一台自动贩卖机在安静的住宅街是强锚点，但在热闹的商业街上就不值一提。非交叉口图片每5张一组批量处理，每张最多检测2个地标；交叉口图片单独成组，允许每张最多3个地标。每次检测输出结构化JSON，包含边界框、描述、类别标签和导航上下文。

图6：地标预测流水线：（1）基于注视信息的裁剪，（2）利用方向感好的导航者的语言策略进行VLM检测，（3）通过DINOv3进行基于嵌入向量的去重，（4）二次验证。

第三步是去重。逐批次的提示词去重能减少一部分重复，但相邻批次之间仍然可能检测到同一个地标。研究者的方案是用DINOv3视觉编码器提取每个检测框的图像嵌入特征，在相邻5帧的窗口内通过余弦相似度比较CLS token嵌入向量。相似度超过0.70的检测对被用并查集算法关联成组，每组只保留最早出现的那一次检测。每个路线段独立处理完毕后再跨段边界做一次额外的匹配，确保同一个地标在整条路线上只出现一次。

第四步是二次验证。每个剩余检测的边界框区域会被裁剪出来，加上1.5倍缓冲区，并覆盖一个半透明矩形标记原始检测区域，然后单独发送给Gemini。验证提示词要求模型确认四件事：描述的对象确实在裁剪区域中可见、类别和边界框指的是同一个真实物体、该物体是永久性的而非临时性的、其视觉独特性足以作为地标。提示词里还包含了明确的排除清单——路灯、交通标志、护栏、电线杆这类通用市政设施，以及横幅、旗帜这类临时特征，通通不要。

图7：VLM检测结果示例。在（A）和（B）中，VLM检测与注视热点紧密重叠。在（C）和（D）中，未匹配的注视热点对应商店内部、停放车辆和人行道等物体——这些特征吸引了视觉注意，但从未出现在参与者的口头地标描述中。

整个流水线的成本控制也值得一提。平均每张全景图处理时间约8秒，例如评估路线B包含67张全景图，总共耗时9.2分钟，成本仅1.77美元。这个量级对于离线预处理一条导航路线来说完全在可接受范围内。研究者还与真实数据进行了一次对比评估，验证流水线的输出是否真的对应方向感好的人会关注的地标。

表1：VLM流水线相对于真实数据的评估结果。

注视即交互：混合现实中的地标高亮与引导机制

地标预测出来了，怎么“呈现”给用户才是决定系统成败的最后一步。LandmarkLens的交互设计有一个很核心的理念：地标不是被动的信息标签，而是主动的注意力引导工具。系统在传统逐向导航的基础上叠加两层视觉元素——地标高亮圆圈和方向箭头。

彩色圆圈直接叠加在三维场景中的地标物体上，告诉你“这个值得看”。方向箭头则负责处理那些不在当前视野范围内的地标——比如一个在你身后、但能帮你把新街道和刚走过的路联系起来的街区名牌，或者一座远处的高塔，能让你在更大的城市尺度上定位自己。箭头会引导你转头去看，这正好对着实验中发现的“方向感好的人头转得更多”的行为模式。更有意思的设计是凝视消除（dwell-to-dismiss）机制：当你真正注视一个高亮地标一段时间后，圆圈会脉冲一下然后淡出，表示“你已经看到了”。这个交互设计非常巧妙，它不给用户增加额外的点击操作负担，只需要用户做导航时本来就应该做的事——看路。同时，脉冲反馈也给用户一种轻微的游戏化成就感，鼓励他们主动扫视环境，而不是像传统导航那样低头盯着屏幕上的箭头。

图8：LandmarkLens导航过程中的一次走查。当用户接近交叉口时，地标高亮出现在场景中。方向箭头提示用户看向尚未注意到的高亮。一旦用户注视该地标，圆圈会脉冲并淡出，用户继续前往下一个全景图。

这种交互的野心不止于提升认路效率。研究者想验证一个更大的假设：如果方向感差的人每次经过一个路口都被引导着去看高手会看的地标，长期积累下来，他们能不能逐步建立起自己的认知地图？LandmarkLens本质上是一个注意力训练器——它不改变道路，而是改变你看路的方式。当然，一套交互做得再漂亮，最终还是要用数据说话。

场景识别提升22%：8人用户研究的定量与定性发现

为了检验LandmarkLens是否真的能改善方向感差的人的空间学习能力，研究者又组织了一次受控用户研究。这次招募了8名SBSOD评分不超过3.5的参与者，在VR环境中分别使用两套系统走两条不同路线：一套是LandmarkLens（实验条件），另一套是标准的逐向导航（基线条件）。路线和条件的使用顺序做了交叉平衡，避免学习效应。参照Wen等人的任务设计，空间知识从三个层面评估：场景识别对应地标知识，路径选择对应路线知识，地图素描对应全局知识。

图9：用户评估VR界面。（A-B）LandmarkLens条件显示圆圈高亮和方向箭头。（C）场景识别任务。（D）路径选择任务。

实验结果中最亮眼的是场景识别准确率的显著提升：使用LandmarkLens时，参与者的场景识别准确率达到79.2%，而基线条件只有64.9%，整整提升了14.3个百分点，按相对值计算则提升了约22%。配对检验显示p值小于0.01，统计显著性非常扎实。这意味着参与者真的记住了沿途的关键视觉信息——不是被动地“看过”，而是主动地“记住了”。

图11：左图：按参与者和条件划分的场景识别错误率。LandmarkLens较基线显著提升了准确率（79.2%对比64.9%；p < .01）。右图：按条件划分的每条路径选择错误率。无显著差异（p = .535）。

地图素描任务的结果同样鼓舞人心。参与者使用LandmarkLens后在手绘地图中回忆出的地标数量几乎是基线的两倍，这说明系统确实在增强地标层面的编码。不过，地图的结构准确率和路径选择的正确率两组没有显著差异——这也是一个诚实的发现：地标知识提升了，但路线知识和全局知识没有同步跟上。8次导航的短期训练还不足以完整构建认知地图，空间学习的迁移需要更长周期的干预。

表2：按参与者和条件划分的地图素描结果。

主观反馈方面，七个评估项目中有六项都倾向于LandmarkLens。参与者对“该系统帮助我注意到平时会忽略的细节”这类陈述给出了很高的评分。这从定性层面印证了系统的核心设计目标：它不是在替用户做导航决策，而是在改变用户的注意力分配习惯。

图12：各原型对应的Likert量表响应。

图13：跨路线自评项目的每位参与者Likert量表差异（原型减去基线）。七个项目中有六项倾向于原型。

从实验设计角度看，这个评估有两点值得肯定。其一，场景识别任务的目标图片和干扰图片都取自真实路线附近，避免了使用训练集图片导致的记忆捷径。其二，路线和条件的交叉平衡设计控制了顺序效应。当然，8人的样本量决定了这项研究只能算初步验证，距离大规模的统计功效还有距离。但考虑到效应量较大——场景识别的提升幅度接近15个百分点——这个结果仍然具有较强的说服力。

从VR到AR眼镜：局限、展望与下一代导航设计

LandmarkLens走到这一步，方向无疑是正确的，但距离真正的产品化还有明显差距。当前所有的实验都在VR环境中完成，使用预采集的8K全景图，这意味着系统验证的是“地标注意力引导”这个概念本身，而不是一套能在真实世界中实时运行的AR系统。从VR走向AR眼镜，至少还要跨越四道坎。

第一道坎是实时性。当前的流水线每张全景图需要8秒处理时间，这在离线预处理路线时完全够用——用户出发前把整条路线的地标提前算好就行。但真正的AR眼镜面对的是动态变化的场景：路边的店铺可能换了招牌，临时施工可能遮挡了原本的地标，用户也可能偏离预定路线。这些都需要系统实时重新检测和验证地标，8秒的延迟完全不可接受。要支持实时运行，可能需要更轻量级的检测模型、缓存机制以及边缘计算设备的配合。

第二道坎是地理覆盖范围。实验只在东京的四个街区收集了3120张全景图，虽然覆盖了不同类型的城市肌理，但东京的街道特征和欧美城市有本质差异——亚洲城市密集的招牌、狭窄的人行道、高密度的店铺立面，与欧洲城市宽阔的广场、历史建筑、规整的街道网格完全不同。论文中提到的全局地标（比如东京晴空塔）在平原城市未必存在对应物。如果要扩展到全球，VLM提示词需要对不同城市的文化和建筑特征做适配，甚至可能需要针对区域微调。

第三道坎是动态环境的稳定性。论文明确排除了横幅、旗帜、行人、停放的自行车等临时特征，但真实城市环境中“临时”和“永久”的界限往往很模糊。一家新开的店可能在几个月内就倒闭换成了另一家，而一张贴在墙上的长期公告可能持续好几年。当前的二次验证依赖VLM的语义判断，但VLM对“永久性”的评估本质上是对概率的猜测，存在不确定性。更稳健的做法可能是引入时间维度的验证——比如对比不同时间点的街景图像，确认地标是否持续存在。

第四道坎是注视交互在AR眼镜上的精度。VR头显里的眼动追踪是相对成熟的，但市面上的AR眼镜——包括Meta Ray-Ban、苹果Vision Pro这类产品——眼动追踪的精度和应用场景差异很大。LandmarkLens的凝视消除机制依赖稳定的注视点估计，在户外强光下、镜片起雾时、或者用户快速行走导致头部晃动时，眼动信号的质量都会下降。这可能需要更鲁棒的注视估计算法，或者退一步采用“视线+手势”的混合交互方案。

还有一个值得注意的长远问题：地标注意力引导是否真的能产生长期的空间学习迁移？论文的8人实验只验证了即时效果——走完一遍路线后在场景识别任务上有所提升。但空间学习是一个长期过程，需要多次暴露、主动回忆和错误修正。LandmarkLens能不能在数周甚至数月的持续使用中，让方向感差的人真正建立起独立的导航能力、最终摆脱对导航工具的依赖？这是论文尚未回答的问题，也是这个方向最有价值的后续研究课题。研究者已经将全部代码、数据和实验材料开源，为社区在这条路上的探索铺平了道路——超过3000张带有注视和地标标注的8K全景图像，本身就是一个极具价值的数据集。

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：

这篇论文到底在解决什么问题？方向感差的人记不住路？华盛顿大学等机构提出LandmarkLens混合现实导航系统，通过VLM识别并高亮导航相关地标，引导用户注意力。

这篇工作最值得看的点是什么？VLM流水线在四个街区的地标检测精确率为73.9%-86.6%，召回率为36.8%-57.1%；用户评估中LandmarkLens显著提升场景识别准确率（79.2% vs 64.9%，p<.01），地标回忆数量接近翻倍（中位数4.5 vs 2.5，p=.016），路线选择和地图结构精度与基线相当

这篇工作的边界或风险在哪里？优点：(1) 首次将良好导航者的注视行为和口头描述策略系统性地转化为VLM提示词，实现了从实证研究到可扩展系统的闭环；(2) 方法具有较好的可扩展性和可迁移性，提示词设计可适应不同语言和地区；(3) 注视交互式高亮设计（dwell-to-dismiss）有效促进主动注意。缺点：(1) 主要检测视觉显著地标，对结构和语义地标的覆盖不足，导致路线知识和全局知识提升有限；(2) 地标选择未个性化，对语言能力有限或偏好不同的用户效果打折；(3) 高亮数量过多可能干扰路线编码；(4) 仅在VR环境中评估，缺乏真实世界导航验证。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★★☆

通过VR眼动追踪实验揭示方向感优劣人群在视觉注意和地标选择上的系统性差异，并据此构建基于视觉语言模型（VLM）的地标预测流水线，在混合现实中以注视交互式高亮引导方向感较差用户关注有效导航地标。

实验合理度：★★★★☆

地标检测精确率（Precision）和召回率（Recall）；场景识别准确率、路线选择准确率、地图草图完整性、地标回忆数量、形状相似性（双维回归相关系数）

学术研究价值：★★★★☆

通过VR眼动追踪实验揭示方向感优劣人群在视觉注意和地标选择上的系统性差异，并据此构建基于视觉语言模型（VLM）的地标预测流水线，在混合现实中以注视交互式高亮引导方向感较差用户关注有效导航地标；更关键的是问题定义是否可复用到同类任务。

稳定性：★★★☆☆

现有材料未提供充分的极端条件、重复运行或扰动测试，稳定性暂按中性评价。

适应性以及泛化能力：★★★☆☆

现有材料未完整展示跨数据集、跨场景或分布外实验，泛化能力仍需进一步验证。

硬件需求及成本：★★★☆☆

每个全景图平均处理时间为8秒；例如评估路线B（67个全景图）总耗时9.2分钟，成本1.77美元

复现难度：★★★☆☆

https://github.com/makeabilitylab/landmarklens

产品化成熟度：★★★☆☆

论文验证以研究实验为主，真实部署中的时延、成本、维护和异常场景仍需补充验证。

可能的问题：现有材料尚未充分覆盖分布外泛化、部署成本、长期稳定性和失败案例。

主要参考文献

[1] Li C, Sechayk Y, Froehlich J E, et al. LandmarkLens: Predicting and Presenting Effective Landmarks for Mixed-Reality Urban Exploration. arXiv:2608.30142v1, 2026.

[2] Siegel A W, White S H. The development of spatial representations of large-scale environments. Advances in Child Development and Behavior, 1975.

[3] Hegarty M, Richardson A E, Montello D R, et al. Development of a self-report measure of environmental spatial ability. Intelligence, 2002.

[4] Wen W, Ishikawa T, Sato T. Working memory in spatial knowledge acquisition: A study of individual differences in learning from virtual environments. Computers & Education, 2013.

[5] Ishikawa T, Nakamura T. Landmark selection in the environment: Relationships with object characteristics and sense of direction. Spatial Cognition & Computation, 2012.

[6] LandmarkLens开源代码与数据集: https://github.com/makeabilitylab/landmarklens

*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～想了解更多原文细节的小伙伴，可以点击"阅读原文"，查看更多原论文细节哦！