中国科学院自动化研究所：视觉语言模型跳过近85%适配，TPT提速3.04倍

龙哥导读

图像识别模型遇到陌生画风，先调整一下自己，再给答案——听起来很合理。问题是，每张图片都值得这么折腾吗？中国科学院自动化研究所、中国科学院大学与南京大学的这篇研究，把注意力从“如何适配”挪到一个更靠前的问题：这次适配，究竟该不该发生？

论文给出的反差很有意思。在图像分类数据集（ImageNet）实验中，让约85%的样本跳过适配，几种方法的准确率仍保持或略有提高。其中，测试时提示调优方法的总推理时间从7.76小时降到2.55小时，准确率从68.88%升到69.03%。省掉一些操作，结果反而更好。模型的工作量和有效工作量，原来真是两回事。

这里的视觉语言模型，是把图片与文字放进同一套匹配空间的识别系统。给它一张图和若干类别描述，它比较图像与各描述的相似程度，选出最匹配的类别。所谓测试时适配，就是面对当前测试图片，临时调整提示或模型行为，以应对训练分布之外的变化。

这篇论文提出的跨增强相似度算法（CAS），像一道设在昂贵流程前的分流闸：先看同一图片的不同增强视图是否稳定地支持原答案，再决定是否进入适配。它没有另外训练一个复杂选择器，也没有替换原有适配方法。最值得读的，是这道简单闸门背后的问题定义、评分公式，以及算力究竟省在了哪里。

图1a｜先评分，再决定是否执行适配。

一、平均准确率，会把适配的得失揉在一起

通常比较测试时适配方法，会看适配后的整体准确率比零样本模型高多少。这是一笔总账。总账上涨，并不能看出哪些图片被救回来了，哪些图片被弄错了，又有哪些图片只是陪着走了一遍流程。论文因此把分析单位缩小到单张图片，逐一比较适配前后的正确性。

四种转移一目了然：原来正确，调整后仍正确；原来错误，调整后仍错误；原来错误，调整后正确；原来正确，调整后错误。第三种贡献准确率增益，第四种造成准确率损失，前两种对这项指标没有净贡献。论文把它们分别归为有益、有害和可忽略适配。

“错误到错误”值得多看一眼。适配前后可能选中了不同的错误类别，只是都没有选中真值；概率分布也可能变化。因此，这里的“可忽略”是按最终分类准确率定义的，不是说模型内部什么都没动。选择问题关心的是更新有没有改变这次任务的得分，而非参数有没有忙起来。

在论文图2展示的测试时提示调优实验中，ImageNet和遥感图像分类数据集（EuroSAT）里，可忽略与有害两类合计超过90%。两组数据都提示了一件事：大部分样本的更新，并没有把错误答案改成正确答案。这给选择性执行留下了空间。

这个统计来自离线分析，可以使用真实类别来判断结果。在线服务却没有随手可取的正确答案。真正困难的一步，是从适配之前就能看到的信号中，预测哪些样本值得进入更新流程。论文把统计现象变成了一个可研究的二分类问题，而不是只在实验结束后感慨算力浪费。

图2｜四种正确性转移，以及两组分类任务中的占比。

如果只按“模型现在信不信自己”来跳过，容易把两件事混淆：当前答案是否可靠，以及后续适配能否带来收益。一个模型可以很自信地答错，也可以不太自信却已经答对。选择器需要围绕更新的收益排序，而非简单给当前答案做置信度排名。

二、理解这道闸，先拆开原来的工作链

论文采用的基础模型是对比语言—图像预训练模型（CLIP）。它有图像编码器和文本编码器：前者把图片变成向量，后者把“某个类别的一张照片”之类的类别描述变成向量。图像与每个类别文本的余弦相似度，表示它们在表征空间里方向有多接近。

设一共有K个候选类别，图像向量是v，第k类文本向量是t_k。预测概率可写成p_k(x)=exp(cos(v,t_k)/τ)/Σ_j exp(cos(v,t_j)/τ)。温度τ控制相似度差异被放大到什么程度；分母把所有候选的分数归一化，最后形成总和为1的类别概率向量。

取概率最大的类别，就是零样本预测。零样本的意思，是当前任务没有先用标注训练样本来专门训练这个分类器。测试时适配则进一步利用测试图片自身构造学习信号。本文的主实验采用逐样本的独立适配设置，处理一个样本时执行相应流程，而不是把连续测试流当成一套长期训练数据。

其中，测试时提示调优方法（TPT）的操作很有代表性。对一张图片生成多个增强视图，比如通过随机图像变换得到不同观测。主配置里N=64，包含原图和63个增强视图。每个视图都先经过零样本前向推理，得到一个类别概率向量。

接着计算每个向量的预测熵。熵高，表示概率比较分散；熵低，表示模型对某些类别更集中。TPT按照熵筛出高置信视图，把它们的概率向量取平均，再最小化平均向量的熵，来优化文本提示。最后，用调整后的提示重新预测原图。

关键区别在“平均以后再看熵”。若不同视图分别很自信，却支持不同类别，它们各自熵低，平均后仍可能分散。这个目标会推动所选视图形成更一致的判断。问题随之出现：如果它们本来已经稳定支持原答案，继续优化还能增加多少分类收益？

CAS便插在这个位置。它复用适配前已经算出的多视图预测，在进入后续更新之前做决定。图像增强与前向推理没有消失，昂贵路径是否执行却变成了可选项。理解这个插入位置，也就理解了后面的提速为什么因适配器而异。

三、CAS公式：给“支持原答案的稳定性”称重

先明确符号。原图的零样本概率向量记为p_0，增强视图i的概率向量记为p_i。高置信视图集合是S。论文以预测熵的低分位阈值β选取S，即S={i:H(p_i)≤β}。分位参数ρ控制保留多少低熵视图，主实验ρ=0.1。

ρ和β的分工不同：ρ是预先设定的保留比例参数，β由当前图片这一组视图的熵分布确定。它们也不是最终跳过适配的阈值。低熵筛选负责决定哪些视图参与评分，后面的门控阈值γ负责决定当前图片走哪条计算路径。

最朴素的打分办法，是数一数S中有多少视图与原图预测相同类别。支持原答案的视图越多，答案越稳定。这是硬类别一致性。它把整个概率向量压成一个类别，易懂且有效，但会遗漏向量形状的信息。

例如，两张增强视图都把某个动物排第一，一张却给第二候选保留了明显概率，另一张则几乎把全部支持集中到第一候选。两者的最终类别一样，对类别边界的态度却不同。只看名次，分不出这层差异。CAS因此再加上概率分布的相似度。

每个视图先获得权重w_i=cos(p_i,p_0)/Σ_{j∈S}cos(p_j,p_0)。这里比较的是类别概率向量，不是直接比较图片像素，也不是再比较图像与文本特征。所有参与视图的权重合起来为1，分布更接近原图的视图分到更大的权重。

然后计算α_CAS(x)=Σ_{i∈S}w_i·1[argmax p_i=argmax p_0]。方括号里的指示量，在该视图和原图选择同一类别时取1，否则取0。得分就是“支持原答案的那些视图，共占了多少相似度权重”，范围落在0到1之间。

公式6｜归一化相似度加权的类别一致性。

读公式时，可以把归一化权重想成一场加权表决。所有入选视图共同分配一份票额，与原图概率结构更相近的视图票额更大；只有最终类别与原图一致的票，才计入稳定性得分。这比单纯数赞成票细一层，又比学习一个新网络简单得多。

公式还有一个容易忽略的性质：当所有入选视图都支持同一原图类别时，指示量全部为1，归一化权重相加就是1。此时即使概率向量并非完全一样，得分仍达到上界。相似度加权主要改变的是支持与反对原类别的视图同时存在时，它们各占多大份量。

图3｜从增强预测、相似度评分到两条输出路径。

门控规定，α(x)≥γ时跳过适配，直接输出原图的零样本预测；得分较低时，才调用原来的适配器。γ越低，越多样本可能被跳过。CAS的判断建立在增强一致性上，并不直接读取真实收益，也没有把收益预测器训练出来。它是一条可复现、可替换的启发式基线。

四、两个指标：一个看排序，一个看整条收益曲线

选择性适配不能只问“跳过了多少”。如果跳过的恰好是最容易被救回的错误样本，节省算力的代价就很高。论文因此用两个互补指标评估选择器：排序区分能力，以及不同跳过预算下的整体分类表现。

受试者工作特征曲线下面积指标（AUC），衡量评分是否能把有益适配与无效适配分开。随机排序对应0.5，越接近1表示区分越好。本文把可忽略与有害归入应优先跳过的一侧。这项指标考察评分排序，不等于某个阈值下的分类准确率，也不指定最终应跳过多少。

另一个是带三角先验的准确率期望指标（AEP）。设s为样本跳过比例，acc(s)为这一比例下的分类准确率，定义AEP=∫_0^1 acc(s)·2(1−s)ds。把s从0扫到1，得到一条准确率—跳过率曲线，再按权重求平均。

权重2(1−s)在低跳过率处更大，在高跳过率处更小，整体积分为1。因此，AEP更偏重保守计算预算下的准确率。这是研究者选择的一种评价偏好：低跳过率仍执行较多适配，对准确率更严格；高跳过率优先争取效率，允许的收益权衡不同。

两个指标会揭示不同问题。排序很好，说明选择器能把多数无效更新排到前面；整条曲线好，说明在多种预算下，这种排序确实转化成了较好的最终预测。AEP则仍受数据集本身的分类难度影响。跨数据集比较时，应先看同一数据集、同一适配器下不同选择策略的差别。

图1b｜准确率随样本跳过比例的变化。

论文还用均匀权重f(s)=1和偏重高跳过率的f(s)=2s做补充实验，测试结论是否依赖原先的三角先验。对实际使用者来说，最直观的读法仍是曲线：自己的可接受精度和时间预算落在哪里，再选择对应工作点，而非把一个汇总分数直接当部署配置。

五、主实验：强项在于识别谁不需要更新

主实验使用CLIP的ViT-B/16视觉骨干，即基础规模的视觉变换器与16像素图块配置。除ImageNet外，还有四个分布变化版本：自然对抗图片、重新采集的图片、艺术化表达和素描风格。它们分别从不同角度改变测试分布。

增强策略使用混合图像增强方法（AugMix），保持64视图及0.1低熵分位配置，并使用多个随机种子。后端除提示调优外，还有面向对抗鲁棒性的提示调优方法（R-TPT）。

另外两个后端是测试时频谱感知潜变量引导方法（STS）和免训练适配方法（ZERO）。它们与普通提示调优一起，组成四种主实验后端，让同一选择思路接受不同更新流程的检验。

选择策略与随机跳过、能量评分和最大概念匹配方法（MCM）比较。能量评分利用模型的类别得分，概念匹配从图文概念的置信度出发。它们擅长刻画当前样本的状态；本文选择器直接检查增强之间是否支持原答案。

表1｜五组ImageNet数据、四种适配器的AUC与AEP。

表1可读局部｜标准集、自然对抗集与五集平均；两项指标单位为%。

看标准分类集上的ZERO组合，本文选择器的AUC为94.58%，AEP为69.36%；概念匹配对应64.22%和68.83%。排序指标相差30.36个百分点，加权准确率相差0.53个百分点。两者数值大小本就没有可直接比较的关系。

换到TPT，标准分类集上本文选择器为91.10% AUC和69.00% AEP，概念匹配为63.82%与68.50%。换方法后仍能保持排序优势，是这项工作的重要证据。它把“是否更新”从特定更新算法里抽了出来，用同一类前置信号适配不同后端。

五个ImageNet系列数据集的平均AUC，在四个后端下分别达到89.42%、89.85%、92.32%和92.62%。平均AEP分别是62.44%、63.28%、63.90%和63.79%。这组数值说明强区分能力不是只靠一个数据集撑起来的，最终分类曲线也保持竞争力。

分布更困难时，收益同样值得看。在自然对抗图片集上，R-TPT结合选择器的AEP为57.76%，概念匹配为54.75%。较大的差距提示，哪些样本进入更新路径，对分布偏移下的最终结果可能很敏感。此处比较的是同一后端与同一数据集，条件才是对齐的。

另有十个细粒度与下游分类数据集，覆盖花卉、纹理、宠物、飞机、遥感、汽车、食物等类别。提示调优结合本文选择器的平均AUC为87.97%，AEP为64.95%。

ZERO结合选择器在Caltech101和Food101上的AUC分别达到98.29%和96.87%。本文对动作分类数据集（UCF101）也采用分类评测，分析重点仍在分类选择机制。

六、跳过85%适配，为什么提速不是统一的？

论文图4让跳过率从0走到1，每次增加0.05，观察四种后端在标准分类、自然对抗图片与纹理分类上的准确率变化。CAS的曲线总体更平，能在跳过大量样本时保留较好的准确率。随机、能量与概念匹配的曲线则更容易随着跳过率增加而下滑。

图4｜四种适配器、三组任务的准确率—跳过率曲线。

图4逐面板｜原方法名、数据组及坐标轴完整。橙线为CAS，蓝线为能量，紫线为概念匹配，绿线为随机。

这个现象也解释了开头的反差。跳过一些更新，不只是减少操作，还可能避免原来正确的预测被改坏。最终准确率由保留下来的有益更新与绕开的有害更新共同决定。选择器只要把两者安排得更合适，就可能在减少更新的同时改善整体表现。

表5给了最容易理解的工作点：在ImageNet上，统一设85%的样本跳过适配。TPT从68.88%准确率、7.76小时，变成69.03%、2.55小时，提速3.04倍。R-TPT从69.36%、6.73小时，变成69.43%、2.40小时，提速2.81倍。

STS的变化是68.83%、2.03小时，变成69.20%、1.68小时，提速1.21倍。ZERO则从69.28%、5.42小时，变成69.32%、4.96小时，提速1.09倍。四个后端都有小幅准确率改善，时间收益却差得很明显。

表5｜85%样本跳过时的准确率、总推理时间及提速。

表5可读局部｜85%跳过工作点，保留原方法名、基线与选择后结果。

原因藏在计算路径里。CAS需要读取增强视图的预测，增强与多视图前向这一层仍然要做。如果某种方法的重头戏是后面的提示优化，跳过更新能省掉很大一块；如果大量成本已经发生在前向或其他不能直接绕开的步骤上，闸门节省的比例就有限。

作为参照，表里带64次增强的CLIP基线耗时1.65小时，准确率66.72%。这说明即使不进入适配，多视图链路也不是零成本。真正的效率账，应算整条推理路径，不能只把执行适配的样本数量当成处理器工作量。

85%是这组实验的样本跳过比例。模型仍对剩余约15%执行适配，对全部样本完成前置评分；被跳过的集合也不等于事后逐个证明完全无益。它的说服力来自这一工作点的最终准确率与实际耗时，而不是一个听起来很大的省略比例。

七、消融：硬一致性已经做了不少工作

CAS把类别一致性与概率相似度合到一起，哪一部分最关键？表4分别拿只看分布相似、只看类别一致、以及完整CAS做选择器。这类拆分很有价值：算法公式里多一个因子，未必意味着每个场景都多一截收益。

表4｜仅相似度、仅一致性与完整CAS的消融。

表4可读局部｜每张保留一种后端，数据组、策略和两项指标均完整。

以ZERO的标准与偏移分类集平均表现为例，概念匹配的AUC为61.06%，仅相似度为87.78%，仅类别一致为92.59%，完整选择器为92.62%。对应AEP依次为62.63%、63.73%、63.79%与63.79%。主要跳跃已经由跨视图信号与类别一致性带来，完整组合再提供较细的加权调整。

有些格子，硬一致性还略高。STS的平均排序指标，一致性是92.65%，完整选择器是92.32%；R-TPT则是89.89%与89.85%。完整公式的价值应该从多条件总体表现理解，而不是把每个小数点差异都包装成必胜优势。

细粒度数据上，ZERO从一致性的90.82% AUC提高到完整选择器的91.25%，AEP从63.97%提高到64.02%。结合前面几组结果，更稳妥的技术判断是：类别一致性提供主要结构信号，分布相似度帮助在一些更细的场景重新分配视图影响。

这也给后续研究一个很具体的起点。新选择器若声称有突破，除了比传统置信度选择好，还应比这个很便宜的硬一致性基线好。否则，复杂结构的增益可能只是重复利用了同一批增强预测，增加了工程负担，却没有增加多少可选择性。

八、配置与校准：默认值不是越多越好

论文把低熵分位ρ从0.05扫到0.50，在64视图配置下，大致对应保留3到32个视图。开始增加保留量，可能让评分更充分；继续增加，则会把更高熵的视图也拉进集合，扰乱原来较明确的稳定性信号。

图5｜保留分位ρ对AUC和AEP的影响。

图5逐面板｜前四张是排序指标，后四张是加权准确率，保留原轴标与子图名称。

图5显示AUC在一定范围内比较稳，AEP变化更小；EuroSAT的AEP还会随保留率增大而下降。因此默认ρ=0.1，是检测质量与使用视图数量之间的选择。它调整的是评分参与者，不是已经完成前向计算的视图总数N，两个旋钮要分开理解。

增强方式也做了替换。把原来的混合增强换成随机缩放裁剪与水平翻转，在ZERO组合下，标准与偏移分类集平均AUC仍达92.65%，AEP为63.76%。这说明信号并非只在一套特定增强配方里成立。采用新数据时，增强是否保留类别语义，仍是具体需要检查的问题。

替代AEP先验的实验里，TPT结合CAS在均匀权重下平均AEP为62.19%，在偏重高跳过率的权重下为61.94%，都保持了对比较选择器的优势。评价偏好换了一次，排序转化成分类收益的趋势仍然存在。

论文还接入面向校准的提示调优方法（C-TPT）与正交约束提示调优方法（O-TPT），使用带三角先验的校准误差期望指标（EEP）。它把校准误差沿跳过率曲线加权，越低越好。分类准确率关心答对多少，校准关心模型的信心与真实正确率是否匹配，是另一个维度。

普通提示调优结合选择器的平均EEP是8.60%，低于随机选择的8.77%。但艺术化图片集单项，选择器为3.89%，随机为3.25%；O-TPT平均校准误差也有随机4.28%、选择器4.30%的细小反差。这里应该读完整表格：总体分类选择有收益，概率校准的各格表现仍要分别看。

九、工程采用：先选工作点，再谈省算力

对准备使用这一思路的团队，第一件事是画出自己的准确率—跳过率曲线。固定基础模型、增强数量和适配器，回放同一批带标注样本，同时记录总耗时。只改选择器，才能看清前置分流到底带来了什么。

第二件事是把错误转移拆开。总准确率相同，背后可能是少做了有益更新，也可能是少发生了有害更新，两者对后续改进的意义不同。尤其是某个关键类别样本量少时，平均值好看，仍需要看该类有哪些原本可纠正的错误被跳过。

第三件事是拆时间。把数据增强、多视图编码、CAS评分、后端更新和最终预测分开计时，再看真实瓶颈。如果现有适配器本来很便宜，选择器保持简单可能比提高一点排序分数更重要。表5已经说明，同一个跳过比例在不同后端上能换到完全不同的收益。

第四件事是按输入域检查阈值。摄影图片、素描、艺术化图片与遥感图像的分布不同，跨视图稳定性分布也可能不同。阈值γ对应的跳过率，应在目标域实测；ρ是视图筛选参数，不能替代γ来直接规定业务上的预算。

这些是从论文计算链推导出的采用建议。它们的重点不是先搭一个更复杂的在线学习系统，而是先把“何时执行原有适配”变成可观测、可比较的决策。这样，换后端、减视图或调整预算时，才知道收益来自哪一环。

十、龙哥点评

这篇工作最值得肯定的，是把长期被默认执行的一步变成了研究对象。很多方法追问怎样把更新做得更聪明，CAS追问哪些更新根本无需做。问题定义清楚，基线又足够简单，后续研究很容易站到同一条起跑线上比较。

图6也把它的启发与不足放在了一起。稳定且正确的样本，继续适配的空间小；稳定却错误的样本，可能带着模型的固定偏差；处于类别边界的样本，增强信号有机会帮忙；原本正确但对扰动敏感的样本，则可能被更新带偏。同样是稳定或不稳定，背后原因并不相同。

图6｜不同正确性转移下的增强视图与预测。

CAS测的是增强一致性，用这个信号来排序适配收益。它的实验主体是CLIP式分类、多视图推理和逐样本适配。对于需要跨时间、跨区域或多目标判断的任务，选择器看到什么信号、后端改变什么，都需要重新设计评测。更有价值的下一步，是找出当前门控错分了哪些有益更新，以及这些错分是否集中在某类表征偏差。

从工程角度看，论文给出的最佳故事是TPT那条链：少执行大部分更新，实际总时间降低，精度还略有提高。ZERO的1.09倍提速则提醒使用者看瓶颈。这两条结果放在一起，才构成一幅完整的计算预算图景。

龙哥的判断是，CAS值得作为适配系统的前置基线，而不是作为万能收益预言器。它让一个很务实的原则变得可测：模型更努力之前，先检查这份努力有没有改变答案的空间。把这笔账算清楚，往往比继续堆更新步骤更接近真正的效率改进。

主要参考资料

本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。