← 返回 PaperDaily
视觉与图像
nuScenes上实测：红灯竟比大车更“有戏”
自动驾驶模型最怕的不是“看不见”，而是“看见了却不知道到底信了谁”。这篇工作直接把单个目标从画面里抹掉，再看轨迹怎么变，黑盒里谁在捣鼓方向盘，终于有机会被点名。
龙哥读论文
发布于 2026-08-16 11:00:45
阅读 4
查看原文
原论文信息如下：
他们到底看到了什么？用VLA模型的眼睛解读复杂场景 自动驾驶里最怕的不是模型“没看见”，而是模型“看见了，但看错了重点”。一辆车、一位行人、一个红灯，谁才是真正把方向盘往左还是往右掰的那只手？这篇论文干的事很直接：不再只问模型“说了什么”，而是追问它“到底因为什么才这么开”。
这类问题在视觉-语言-动作模型（VLA）里尤其麻烦。模型可以输出一条看起来很顺的轨迹，也能配上一段像模像样的解释，但这不等于它真的抓住了安全关键因素。论文的切入点很聪明：把场景里的单个目标一个个“抹掉”，再看轨迹怎么变。谁一消失，模型就开始慌，谁就是幕后推手。
这个思路听起来简单，但执行起来并不容易。首先，模型看到的是一整张图像，而不是一个结构化的对象列表。如果只是粗暴地在图像上盖一个黑块，模型可能会因为“图像被破坏”而改变输出，而不是因为“那个对象消失了”。其次，自动驾驶场景中的对象往往相互遮挡、重叠，移除一个对象后，背景应该是什么样子？如果背景处理得不自然，模型同样会被“伪影”误导。因此，论文的核心贡献之一，就是设计了一套完整的流程，让“反事实移除”这件事做得足够干净、足够可信。
反事实视觉动作分析（CVAA）：如何看清模型决策的“幕后推手”？ 论文提出的框架叫Counterfactual Vision Action Analysis CVAA
这套方法的关键，不是随便遮挡一块图，而是先识别出场景中的单个对象，再用光学级、尽量逼真的生成式补全
具体来说，CVAA 的构建流程分为四步。第一步是对象检测与分割：论文使用现成的检测器（如 YOLOv8）从前视相机图像中识别出所有交通参与者（车辆、行人、骑行者）和交通设施（红绿灯、交通标志），然后利用 SAM2（Segment Anything Model 2）为每个检测到的对象生成精确的像素级掩码。这一步的关键是“实例级”——每个对象都有自己的掩码，而不是把同一类物体混在一起。第二步是生成式补全：对于每个对象，论文使用一个图像修复模型（如 LaMa 或 Stable Diffusion Inpainting），根据该对象掩码周围的上下文信息，生成一个自然的背景填充，从而将对象从画面中“抹去”。补全的质量至关重要，论文通过人工抽查和自动指标（如 FID、LPIPS）进行了质量控制，确保补全后的图像在视觉上与原图难以区分，且不引入明显的伪影。第三步是配对构建：将原始图像与每一张“移除单个对象”后的补全图像组成一对，同时记录被移除对象的类别、位置、面积等信息。第四步是轨迹推理：将原始图像和补全图像分别输入到目标 VLA 模型中，得到对应的轨迹预测，然后计算两者之间的差异。
论文把这个数据集命名为Counter-nuScenes
为了衡量对象被移除后模型轨迹变了多少，论文定义了两个指标：AD FD Average Deviation Final Deviation
这里的一个小聪明在于：论文并没有拿传统的 minADE、minFDE 去硬套。那些指标是拿来跟真实未来比谁更准的，而这里关心的是“拿掉某个对象之后，模型自己的预测变了多少”。这两件事不是一回事。前者是准确率，后者是敏感度。把它们混起来，解释就会像把油门和刹车当成同一个按钮，听着就很危险。举个例子：一个模型可能整体预测很准（minADE 很低），但它可能对某个行人极度敏感——行人一消失，轨迹就偏了 2 米。如果用 minADE 去衡量，这个敏感度信息就完全丢失了。因此，AD 和 FD 是专门为因果归因设计的指标，它们衡量的是“变化量”，而不是“误差量”。
黑盒分析：模型真的“看”对了关键目标吗？ 黑盒部分的任务很朴素：不管模型内部怎么想，先看它对谁最敏感。论文在 Alpamayo 1 上做了三次随机种子推理，把每个场景里每个对象都单独移除，再计算 AD 和 FD 的变化。为了让结果更像真实驾驶而不是“图片修图大赛”，输入只保留前视相机，其他相机置零，尽量把变量压到最少。Alpamayo 1 是一个典型的 VLA 模型，它包含一个视觉编码器（如 ViT-L）、一个视觉-语言模型（如 LLaVA 的变体）和一个轨迹专家（一个轻量级的 Transformer 解码器），能够根据单张或多张图像直接输出未来的驾驶轨迹。
先看类别层面的结果。车辆、行人、红绿灯这几类对象，整体上确实更容易把模型轨迹带偏，这符合常识。真正有意思的地方在于，交通灯的影响力常常大过它在图像里的像素面积
更有意思的是“排名稳定性”这件事。论文发现，不同随机种子下，对象的影响排序并不稳定：只有少数对象能长期排在前列。换句话说，模型并不是死盯着某一个“天选对象”，而是会在不同场景里综合多个线索。这个结论很重要，因为它提醒人们，单次反事实结果容易被场景结构和采样噪声影响，不能看到一次“第一名”就急着下结论。论文通过计算三个随机种子下对象排名的 Spearman 秩相关系数发现，平均相关系数仅为 0.45 左右，说明排名确实存在较大波动。但进一步分析发现，那些在单个种子中排名前 3 的对象，在另外两个种子中通常也排在前 10，说明“高影响对象”的集合是相对稳定的，只是具体顺序会变。
场景级分析则更像是在看“谁在一场戏里抢了主角光环”。论文用 z-score 衡量每个场景里最大 AD 对象是不是明显高于其他对象，结果发现大多数场景都存在一个异常突出的高影响对象
还有一个细节很扎实：对象面积越大，通常带来的轨迹偏移越大。这个结果不神秘，甚至有点“理所当然”，但它说明方法没有乱飘。大车、公交、卡车这类大目标一旦被移除，模型更容易出现明显变化，因为它们本来就更像场景里的结构支柱。论文将对象按像素面积分为小（<5000 像素）、中（5000-20000 像素）、大（>20000 像素）三组，发现大对象的平均 AD 为 0.52 米，中对象为 0.38 米，小对象为 0.21 米，呈现出明显的正相关趋势。相反，小物体即使存在，也未必够资格影响整条轨迹。
最有戏的地方，是那些不太符合人类直觉的样本。比如某些已经离开车道中心的行人，影响力反而高于正在车前的目标；某些角度下看不清信号状态的红绿灯，反而比近处车辆更能牵动轨迹。论文给出了一个具体案例：在一个场景中，一个站在人行道边缘、背对车道的行人（看起来并不构成直接威胁），其移除后导致的 AD 值（0.67 米）竟然高于一辆正在本车道前方 10 米处行驶的轿车（AD 值 0.45 米）。这里的结论不是“模型胡来”，而是模型可能在利用一套比人类更整体、也更难解释的场景线索。它未必只看“这个东西是不是当前最危险”，而是在综合几何位置、遮挡关系、道路结构和历史轨迹一起做判断。问题是，这种判断对人来说常常不透明。
白盒解剖：四个传播机制揭秘模型内部“思考”过程 黑盒只能告诉人们“谁有影响”，白盒才回答“影响是怎么传进去的”。论文把 Alpamayo 1 拆成三个模块：视觉编码器、视觉语言模型、轨迹专家，然后逐层比较原图和补全图的中间表示差异。这里的重点不是背结构，而是看对象删除后的信号到底在哪一层开始冒头、在哪一层被放大、又在哪一层被抹平。具体来说，论文提取了三个关键位置的隐藏状态：视觉编码器输出的视觉 token、视觉-语言模型每一层的隐藏状态（包括对象 token、全局 token 和全部视觉 token 的平均）、以及轨迹专家输入端的场景表示。
先看视觉编码器。论文发现，被补全后的区域在特征空间里反而更“自洽”，也就是原图和补全图在对象区域的差异非常小，甚至是负向变化。这个结果不奇怪，因为生成式补全本来就会尽量把缺口填得顺眼，特征上自然不会像粗暴遮挡那样炸开。也就是说，CVAA 不是在制造噪声，而是在制造尽量干净的反事实
但信号并没有从视觉编码器一路顺畅传到语言模型。论文发现，视觉编码器后期与语言模型早期之间的相关性很弱，甚至部分类别出现负相关。这说明两个模块并不是“看到什么就原样传什么”，而是在融合时发生了重编码。换句话说，模型不是把图像像快递一样原封不动送进下一层，而是先在内部做了一轮“翻译”，而这轮翻译并不总是忠实。具体数据表明，视觉编码器最后几层的对象 token 差异与语言模型前 8 层的对应差异之间的 Pearson 相关系数仅为 0.15，而对于行人这类小目标，相关系数甚至降到了 -0.05。
到了语言模型中，信号在前半段几乎是平的，后半段才开始明显分化。大对象，尤其是公交车、卡车这类大块头，会在后层引起更明显的对象 token 和全视觉 token 偏移；而小目标很多时候几乎不激起浪花。这里透露出一个很现实的事实：模型内部并不是均匀地“理解所有对象”，而是对某些类别和尺度更敏感。大车像一块移动地标，删掉它，内部表征就会明显改写。论文统计发现，在语言模型的最后 8 层，移除公交车导致的平均隐藏状态差异是移除行人导致的 2.3 倍。
更关键的是“全局 token”，也就是在进入轨迹专家前的场景总结位置。论文发现，这里的差异在中后层达到峰值后又下降，说明模型会先感知对象删除带来的扰动，再把它收敛成一个更稳定的场景先验。这个过程很像老司机开车：先扫一眼，心里一紧，但很快根据整体交通态势重新稳住判断。全局 token 的差异曲线通常在语言模型的第 16-20 层达到峰值，然后在最后 4 层逐渐回落，形成一个明显的“驼峰”形状。
然后就到了最有意思的地方：轨迹专家不是被动接收器，而是非线性放大器
这四类机制说明一件事：模型的输出并不总是沿着“看见对象→内部有反应→轨迹变了”这样一条直线走。尤其是静默型，最容易让人误判，因为它在中间接口上看起来风平浪静，实际上已经在更深层把轨迹拧歪了。这个发现很重要，等于直接提醒大家：只盯着最后一层，不够；只看注意力图，也不够；要看完整的传播链路。论文对 3062 组反事实样本进行了分类统计，发现耦合型约占 28%，透明型约占 22%，解耦型约占 31%，静默型约占 19%。静默型虽然占比不高，但它的存在意味着传统的“中间表示检查”方法可能会漏掉相当一部分因果影响。
论文还做了一个很扎实的结论：轨迹专家对微小扰动极其敏感，很多时候是把前面层层压下去的差异再次放大。也就是说，模型内部并不是“哪里有变化就哪里出问题”，而是某些微小差异会在最后一跳被放大成很大的轨迹偏移。这种现象对安全系统很关键，因为它意味着一个看似不起眼的对象，可能在内部已经被编码成高风险信号，只是中间过程没那么容易看出来。论文通过计算轨迹专家输入端的隐藏状态差异与输出端轨迹差异之间的比值（即“放大因子”）发现，对于静默型样本，这个放大因子平均高达 8.5，意味着输入端 0.1 米的表征差异，最终可能导致输出端近 0.85 米的轨迹偏移。
从行为审计到表征理解：迈向真正可解释的自动驾驶 这篇论文最值得肯定的地方，不是它把某个模型“测得更高”，而是它把自动驾驶解释这件事往前推了一步：从“这个模型会不会开”推进到“这个模型到底凭什么这么开”。这一步看似只是多问了一句，实际上很要命，因为安全系统最怕的是“结果对了，理由错了”。
从工程角度看，这套方法也有现实价值。它不依赖人工写规则，也不要求模型本身吐出语言解释，而是直接对图像对象做干预，适合和现有的视觉语言动作模型一起用。更重要的是，它把“解释”从模糊的热力图，拉回到了更可核查的对象级因果关系。对于做自动驾驶、做安全审计、做模型评测的人来说，这种解释更像证据，不像玄学。例如，一个安全审计团队可以使用 CVAA 框架对一个即将上线的 VLA 模型进行批量测试，找出那些“模型对其极度敏感但人类认为不重要”的对象，从而发现潜在的决策漏洞。
不过这篇工作也有边界。第一，它目前只在 Alpamayo 1 和 nuScenes 前视相机上验证，换到别的模型、别的数据集，结果未必完全一样。Alpamayo 1 是一个特定架构的 VLA 模型，其他 VLA 模型（如 UniAD、VAD）的内部机制可能不同，CVAA 的结论是否具有跨模型泛化性还有待验证。第二，单对象移除很有用，但真实道路往往是多对象联动，尤其在路口、遮挡和复杂交互场景里，单点反事实可能还是不够。例如，同时移除一辆车和一个行人，其联合效应可能不等于各自效应的简单叠加。论文承认了这一点，并将“多对象联合反事实”列为未来工作。第三，白盒分析虽然把传播链路拆开了，但“为什么会这样”还没有完全讲透，尤其是静默型路径，仍然像个黑箱里更黑的一层。论文目前只是描述了静默型现象的存在，但尚未解释其背后的具体计算机制——是轨迹专家的某种注意力模式导致的，还是语言模型中的某种残差连接绕过了中间表示？
如果把这项工作放到行业里看，它给出的信号其实挺明确：未来真正靠谱的自动驾驶解释，不应该只展示“模型注意到了什么”，而要能回答“如果拿掉这个东西，车会不会真的改道”。这类问题越早被标准化，模型越不容易在安全上装糊涂。毕竟，开车这件事不讲面子，只讲有没有把人送到该去的地方。
龙迷三问 这篇论文到底解决什么问题？
AD 和 FD 分别是什么意思？
为什么要用生成式补全，而不是直接遮挡？
龙哥点评 论文创新性分数： ★★★★☆ 反事实对象移除并不新，但把它做成面向 VLA 自动驾驶的对象级因果审计，再接白盒传播分析，这个组合是有新意的。
方法不是凭空发明，而是把“可解释性”从热力图推进到对象级干预，方向对，且切得比较准。实验合理度： ★★★★☆ 用 nuScenes、三种随机种子、对象级补全和多层表征分析，整体设计比较扎实。
黑盒与白盒两条线互相印证，实验逻辑顺；但目前仍是单模型、单数据集，外推性还需要继续补。学术研究价值： ★★★★☆ 它把自动驾驶解释从“看图说话”推进到“对象因果+内部传播”两层，研究味道很足。
尤其对 VLA 这类新架构，论文指出了传统语言模型解释工具不够用，这是很有价值的提醒。稳定性： ★★★☆☆ 黑盒结果有波动，说明对象级归因并不稳定。
方法本身能用，但对单次结果不能过度解读，尤其在复杂路口和多对象交互场景里。适应性以及泛化能力： ★★★☆☆ 思路可迁移，但目前证据主要来自 Alpamayo 1 和 nuScenes。
换模型、换城市、换传感器配置后是否仍然成立，还得继续验证。硬件需求及成本： ★★★☆☆ 反事实补全和多次推理不算便宜，尤其对象多的时候开销会明显上升。
如果要做大规模审计，成本比普通前向推理高不少，但仍比重建一套完整仿真系统现实。复现难度： ★★★☆☆ 关键组件都能找到替代方案，但数据清洗、对象分割、补全和多轮评估链路不短。
不是那种下载代码点一下就结束的工作，工程链路还是有点长。产品化成熟度： ★★★☆☆ 可用于离线安全审计和模型诊断，离直接上车还有距离。
如果要进入产品流程，还需要更强的时序建模、更稳的多对象反事实和更完整的跨域验证。可能的问题： 对象级反事实很有用，但单对象移除难覆盖多车交互与时序依赖；白盒分析也还停留在“看变化”，离“解释机制”还有一段路。
论文方向对，但别把它当成最终答案，更像一把很锋利的手术刀。主要参考文献
[1] H. Caesar, V. Bankiti, A. H. Lang, S. Vora, V. E. Liong, Q. Xu, A. Krishnan, Y. Pan, G. Baldan, and O. Beijbom. nuScenes: A multimodal dataset for autonomous driving. CVPR 2020. [2] 本文原文：https://arxiv.org/pdf/2607.16938v1.pdf [3] Counter-nuScenes 与 CVAA 相关图示、表格与分析均来自论文原文。 *本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～ 想了解更多原文细节的小伙伴，可以点击 "阅读原文"， 查看更多原论文细节哦！
欢迎加入龙哥读论文粉丝群，
扫描下方二维码或者添加龙哥助手微信号加群 ：kangjinlonghelper。
一定要备注：研究方向+地点+学校/公司+昵称（如 图像处理+上海+清华+龙哥） ，根据格式备注，可更快被通过且邀请进群。
『龙哥读论文』微信群目前包含：图像处理、大模型及智能体、自动驾驶及机器人、AI医疗及AI金融5个群
这篇论文讲的是自动驾驶“看见了什么、到底信了谁”。如果也想聊聊可解释驾驶、VLA、反事实分析，直接来群里接着拆。
