论文标题:
视觉世界实验中的注视行为可以用现成的语言-视觉编码器建模（Gaze Behavior in Visual World Experiments Can be Modeled With Off-the-shelf Language-Vision Encoders）
发表日期:
2026年8月
发表单位:
德国斯图加特大学（University of Stuttgart）
原文链接:
https://arxiv.org/pdf/2608.07282v1.pdf
视觉世界实验中预测性加工的示例归因热力图（黄/红：正向归因，绿：中性，蓝：负向归因）要理解这项工作的价值，先得弄清楚视觉世界范式（Visual World Paradigm）到底是什么。这是一种被心理语言学家广泛使用的实验方法：受试者面前摆着一幅场景图（比如一个男孩、一块蛋糕、一辆玩具火车和一只球），同时通过耳机听到一段语音（比如“The boy will eat the cake”）。在听的过程中，研究设备实时记录受试者的眼球运动轨迹。这种实验的巧妙之处在于，它提供了一种近乎连续的、时间上非常精细的测量手段，让研究者可以直接观察到语言输入如何在几毫秒内引导视觉注意力。在1999年的那项经典研究中，Altmann和Kamide设计了一种巧妙的对比条件。每张场景图都配有两条含义不同的句子：一条使用“约束性动词”（constraining verb），比如“eat”，因为吃东西这个动作强烈暗示了宾语应该是可食用的物体（蛋糕），从而将注意力引向唯一的匹配对象；另一条使用“非约束性动词”（non-constraining verb），比如“move”，因为几乎所有物体都可以被移动，四个物体都说得通，眼睛没有理由偏向任何一个。实验结果显示，当受试者听到约束性动词后、宾语尚未说出之前，他们的目光就已经显著偏向目标物体；而听到非约束性动词时，则没有这种提前的注视偏好。这就是著名的预测性加工（predictive processing）的证据。本文的创新之处在于，研究者没有试图用复杂的认知架构去模拟这个过程，而是问了一个看起来很“偷懒”的问题：一个现成的、大量预训练的CLIP模型，能不能直接复现这种预测性行为？CLIP（Contrastive Language-Image Pre-Training，对比语言-图像预训练）是OpenAI在2021年发布的经典多模态模型，全称是“对比语言-图像预训练”。它由两个编码器组成：一个文本编码器和一个图像编码器，在训练时通过对比学习将匹配的图像-文本对拉近、不匹配的推开。CLIP本身没有任何语言生成的解码器，也不具备任何时间动态建模能力，它只是计算一张图和一句描述之间的相似度分数。然而，论文的假设是：正是这种“静态”的跨模态对齐能力，可能已经隐式地编码了人类关于“什么动词后面常跟什么物体”的统计知识。图2展示了本文方法的整体结构：左边是输入的图像和语言前缀，中间是CLIP双编码器结构，右边输出了对应图像块的归因热力图——注意，这个过程没有任何训练步骤，模型参数直接用现成的预训练权重。本文方法的整体结构——将CLIP双编码器与Integrated Jacobians归因方法结合，得到语言-图像令牌对的归因矩阵为什么CLIP能做到这一点？论文提出了一个有意思的推断：CLIP在预训练阶段虽然只学习图像-文本匹配，但为了区分匹配与不匹配的图文对，模型内部必须隐式地掌握“哪些物体通常参与哪些事件”的知识。也就是说，它知道“吃”这个动作大概率涉及食物，所以当图像中出现蛋糕时，模型在计算“eat”和“cake”之间的关联时，会给蛋糕图像块更高的归因权重。这种知识并不是通过任何显式的事件标注学到的，而是从海量图文对的相关性结构中自然涌现的。用论文的原话说，预测性行为可以纯粹源于预训练数据中的相关结构，而不需要一个生成式架构或专门的预测机制。
从黑盒相似度到可解释归因：Integrated Jacobians如何拆解CLIP
光有CLIP模型还远远不够。CLIP本身只是一个“黑盒”相似度函数：输入一句文本和一张图像，输出一个标量分数。这个分数没法直接告诉研究者“模型到底认为图像里的哪个区域和文本里的哪个词更匹配”。要回答这个问题，需要引入可解释性工具——特征归因方法。在单编码器模型中，最经典的归因方法是积分梯度（Integrated Gradients，简称IG）。它的核心想法很直观：模型从“无信息的参考输入”移动到“实际输入”的过程中，沿着路径累积梯度，就能算出每一个输入特征对最终预测的贡献。公式如下：公式1：积分梯度（Integrated Gradients）公式。其中f(s)是模型预测函数，s是实际输入，r是无信息参考输入，α是插值系数，N是插值步数。IG将模型的输出分解为每个输入特征的贡献值Gᵢ。但IG有一个天然的局限：它只能处理单一输入的情况。CLIP是双编码器架构，它的相似度函数是文本嵌入与图像嵌入的内积，两个输入的交互才是关键。如果对文本单独做IG，图像信息完全没进来；对图像单独做IG，文本信息又丢了。这就像两个人跳双人舞，不能只分析其中一个人的动作来理解整个舞蹈。为此，论文采用了Möller等人提出的集成雅可比方法（Integrated Jacobians，简称IJ）。它是将积分梯度推广到双编码器的一种广义归因方法：分别对文本编码器和图像编码器计算雅可比矩阵，然后通过矩阵相乘，得到一个文本令牌（token）和图像块（patch）之间成对交互的归因矩阵。核心公式如下：公式2：集成雅可比（Integrated Jacobians）公式。其中f(s,t)是双编码器相似度函数，g和h分别是文本和图像编码器，Jˢ和Jᵗ是各自的雅可比矩阵，rₛ和rₜ是对应的参考输入。IJ将相似度分解为文本特征和图像特征之间所有成对组合的贡献。得到归因矩阵之后，还需要进行三步后处理：第一步，对每个图像块的归因分数做ReLU归一化，把负值截断为0。为什么要这样做？因为Integrated Jacobians天然允许负归因，表示“文本和图像在这个区域不匹配”，但人类注视频率不可能是负的，所以需要将分数映射到非负区间。第二步，利用边界框（bounding box）把图像块的归因聚合到物体级别。这一步的输入是实验中标注好的物体位置，但需要特别说明：这个标注只是聚合用的，模型本身并没有依赖任何标签信息来做预测。第三步，对每个边界框向外扩展一格，以捕捉物体边界之外的归因贡献。还有一个实验设计上的关键细节。CLIP的文本编码器是标准Transformer结构，这意味着它处理句子时，每个词元的表征都受到整个句子左右上下文的影响。如果直接输入完整句子再计算归因，那么“蛋糕”这个词的信息就会“泄漏”到“男孩会吃”的归因计算中去，这就相当于让模型作弊了——它并不是在预测，而是事后诸葛。为了避免这个隐患，论文采取了一种严格的做法：每个语言前缀（“the boy”、“the boy will eat”等）都单独作为一个输入呈现给编码器，并分别计算归因。这样保证了每个时间点的预测只取决于该时刻之前的语言信息，与人类受试者听到的内容是一致的。
无需微调即可复现预测性加工：四个CLIP模型的验证结果
实验所用的数据来自Altmann和Kamide（1999）的原始实验材料：18张场景图，每张图包含一个主语角色和四个可能的宾语物体，配以两条句子，分别使用约束性动词和非约束性动词。这18张图的样本量在视觉世界实验的传统中已经足够支撑其实验设计的统计功效。为了检验方法的稳定性和泛化性，论文选取了四个不同的CLIP模型，涵盖不同参数量、不同训练数据和不同发布时期。表1展示了这四个模型的基本信息，以及各自在ImageNet零样本分类上的准确率。表1：本文使用的四个CLIP模型。ImageNet ZS Acc.为ImageNet零样本准确率（来源：Radford et al. (2021), Gadre et al. (2023), Fang et al. (2024)）统计分析上，论文采用了心理语言学领域标准的线性混合效应模型（Linear Mixed-Effects Model）。模型以“目标偏好”（target preference）为因变量，其定义为目标物体的归因分数减去所有其他物体的平均归因分数。固定效应包括动词类型（约束性vs非约束性）、句子区域（宾语前区域vs宾语名词区域）以及二者的交互效应；随机效应为实验条目（句子）的随机截距。在跨模型群体分析中，进一步将四个CLIP模型视为随机因子，类似于心理语言学实验中将参与者视为随机因子。实验结果清晰地验证了预测性加工的核心假设。图3展示了四个模型在不同句子位置上目标偏好的变化曲线。可以看到，在听到约束性动词“eat”之后、宾语名词出现之前，目标偏好急剧上升；而听到非约束性动词“move”时，目标偏好一直保持平稳。一旦宾语名词明确说出，两种条件之间的差距迅速消失。图3：四个CLIP模型在ReLU归一化下按句子位置和动词类型的目标偏好。约束性动词“eat”在宾语名词出现前就引起了目标偏好的显著上升，而这一优势在宾语名词出现后消失，与人类受试者的表现一致。表2列出了四个模型分别做线性混合效应模型的结果。在宾语前区域，四个模型全部表现出显著的约束性动词优势（β≥0.227，p≤0.011），其中表现最好的OpenCLIP ViT-L/14（quickgelu dfn2b）模型的β值达到0.318（p=0.002）。在宾语名词区域，没有任何一个模型表现出显著差异（所有p≥0.245）。交互项全部为负，说明约束性动词的优势确实随着宾语名词的出现而衰减。其中OpenCLIP ViT-L/14（quickgelu dfn2b）模型的交互项达到显著水平（β=-0.352，p=0.014），OpenAI ViT-B/16模型边缘显著（p=0.062）。表2：四个CLIP模型的线性混合效应模型结果。报告了宾语前区域和宾语名词区域内动词类型（约束性减非约束性）的估计简单主效应，以及动词类型×区域的交互项。α=0.05水平下显著的估计值和p值以粗体标出。群体层面的结果更加干净利落。将所有四个模型汇总后，宾语前区域的简单主效应为β=0.267（t=4.60，p<0.001），高度显著；宾语名词区域的简单主效应几乎为零（β=0.033，t=0.56，p=0.576）；关键的交互项为β=-0.235（t=-2.86，p=0.005），明确地证实了约束性动词优势被定位于预测性窗口，而不是一种全局性的偏差。这个结果之所以令人信服，不仅仅是因为统计显著性，更在于它的模式与人类数据高度一致：约束性动词带来的注视优势是时间锁定的——只在信息可用于预测时出现，一旦信息确认就消失。这恰好是Altmann和Kamide（1999）原始研究中人类眼动的核心逻辑。
没有任何研究是完美的，这篇论文也有明确的短板。作者没有回避这些局限，反而将它们作为未来工作的出发点和方向。第一个局限是评估范围。论文的全部结论建立在一个实验（Altmann & Kamide, 1999）和四组模型之上。虽然这个实验在视觉世界范式中的地位是开创性的，但单一实验意味着无法判断方法能否推广到更广泛的心理语言学现象，例如语义竞争、颜色知识、语音竞争等。未来需要在更多实验数据上检验该方法的普适性。第二个更大的问题是，CLIP的文本编码器本身并不是增量式的。它一次性处理整个句子，而我们通过前缀截断的方法在一定程度上模拟了增量处理。这一设计不仅避免了信息泄漏，也隐含了一个有趣的结论：预测性信号可能主要由动词本身的语义携带，而非由编码器的增量处理机制产生。这提示未来研究可以通过对比不同的编码器结构，进一步区分数据统计特征与架构设计各自的作用。第三个局限表现在失败案例上。论文分析了两个最具代表性的失败情形。第一个是“The woman will bathe the baby”这个句子——模型完全没有理解“bathe”（洗澡）这个罕见动词所隐含的事件结构，导致在宾语前区域没有产生目标偏好，直到听到“baby”之后才出现归因峰值。第二个是“The chef will slice the fish”——模型从头到尾都没有正确地将“鱼”识别为目标物体。如图4和图5所示，这两类失败代表了两种不同的问题：前者是事件知识缺失，后者是目标识别能力不足。图4：约束性动词句“The woman will bathe the baby”的失败案例热力图——模型未能理解“bathe”事件图5：“The chef will slice the fish”的失败案例热力图——模型未能识别目标物体尽管存在这些局限，论文的核心结论依然具有启发性：寻找认知合理的语言处理模型，不应该把目光局限在生成式（解码器）架构上，即使是简单的双编码器模型，也能以惊人的程度复现人类加工的时间进程。这意味着预测性注视行为可能源于一种类似多模态相似性结构的机制，而不需要专门的预测模块。这种“数据vs架构”的讨论，在生成式大模型主导的时代显得尤为珍贵。
Altmann, G. T., & Kamide, Y. (1999). Incremental interpretation at verbs: Restricting the domain of subsequent reference. Cognition, 73(3), 247-264.Radford, A., Kim, J. W., Hallacy, C., et al. (2021). Learning transferable visual models from natural language supervision. ICML.Möller, M., et al. (2025). Integrated Jacobians for explainability in dual-encoder vision-language models. (细节见原文引用)Sundararajan, M., Taly, A., & Yan, Q. (2017). Axiomatic attribution for deep networks. ICML.Cherti, M., et al. (2023). Reproducible scaling laws for contrastive language-image learning. CVPR.
