← 返回 PaperDaily 视觉与图像

零参数推理！QueenVIS用两个辅助头搞定视频实例分割

视频实例分割通常需要昂贵的视频标注和复杂的时序建模，但QueenVIS仅用单帧图像训练就拿到了接近SOTA的结果。它通过两个轻量辅助头把外观和空间先验注入Transformer查询，推理时零参数开销，在长视频上提升10.3 AP，简直是为标注稀缺场景量身打造。方法干净、实用，值得工程团队关注。

龙哥读论文发布于 2026-09-05 00:31:11 阅读 7 查看原文

#图像分割 #目标跟踪 #涨点神器

原论文信息如下：

论文标题:
QueenVIS: Rethinking Image-Only Training for Video Instance Segmentation via Query Enrichment

发表日期:
2026年07月发表单位:
伊朗阿米尔卡比尔理工大学（AUT）、东京大学原文链接:
https://arxiv.org/pdf/2607.26647v1.pdf 开源代码链接:
https://github.com/ArianKheir/QueenVIS 项目演示（GIF）:
OVIS数据集效果演示

🐱 先来个开胃小菜：想象一下，你费了九牛二虎之力，给模型喂了大量手工标注好每帧身份信息的视频数据，结果发现一个只用单张图片训练的家伙，居然在视频任务上追平了你？这就是 QueenVIS 干的事。它不仅把视频级训练的成本砍到只剩“图片级”，推理时还一个额外参数都不加，妥妥的“白嫖”党最爱。

1. 仅用图像训练就能做好视频实例分割？QueenVIS说可以！

视频实例分割（Video Instance Segmentation, VIS）要求模型同时检测、分割并跟踪帧间目标身份。主流做法是使用视频级监督（视频标签）来训练时序模块，比如 SeqFormer、IDOL、VISAGE 等，它们确实效果好，但代价高昂：标注成本数倍于图片，训练时还要同时处理多帧，显存和算力吃不消。具体来说，视频标注需要逐帧勾勒每个实例的轮廓并赋予唯一ID，一个30帧的短片段标注成本可能是单帧图像的30倍以上。而训练时，像SeqFormer这样的方法需要同时输入多帧并计算帧间注意力，显存占用随帧数线性增长，通常需要8块以上高端GPU才能跑通。

MinVIS 提出一个大胆的想法：既然单个图片训练出的 query 已经有一定区分能力，那我直接在推理时用匈牙利匹配来关联帧间 query 不就完事了？它真的做到了，在 YouTube-VIS 上达到 44.2 AP，成为图像级训练的第一个里程碑。然而，这种“天生”的时序一致性其实只是副产品——query 只学会了在单张图内区分实例，一旦遇到严重遮挡或外观变化，query 的特征就会“跑偏”，导致关联失败。例如，当一个人从遮挡物后走出时，MinVIS的query特征可能从“行人A”漂移到“行人B”，造成身份交换。

图：QueenVIS在OVIS数据集上的分割与跟踪演示。看它如何精准地咬住每个目标，即使在人群密集、遮挡频繁的场景下也稳如泰山。注意图中右侧被部分遮挡的骑行者，QueenVIS依然保持了完整的掩码和正确的ID。

QueenVIS（Query Enrichment for VIS）正是沿着这条“图像级训练 + 零参数推理”的路线往前走了一大步。它不追求更花哨的视频网络，而是回到 query 本身——通过两个轻量辅助头，把外观和空间先验“注入”到 query 里，让 query 即使在单帧训练下也能学到跨帧稳定的表示。推理时这些辅助头直接扔掉，完全不增加计算量。这种设计哲学类似于“训练时多学一点，推理时轻装上阵”，非常适合部署在资源受限的边缘设备上。

2. 瓶颈诊断：查询漂移才是“罪魁祸首”

为什么单帧训练的 query 做不好关联？作者通过 t-SNE 可视化给出了直观答案：在 MinVIS 中，同一个目标在不同帧上的 query 向量散落在特征空间的不同角落（图1右），根本无法形成紧凑的簇，匈牙利匹配自然也就频频“认错人”。具体来说，t-SNE图显示，MinVIS中同一实例的query点在不同帧上可能相距很远，甚至与不同实例的点混在一起，而QueenVIS中同一实例的点则聚集在一起，不同实例之间界限清晰。

图2：QueenVIS整体架构。(a) 仅用单帧训练，添加特征预测头和中心预测头，推理时丢弃；(b) 推理时通过查询传播和记忆银行实现零参数时序关联。注意训练阶段只有单帧输入，而推理阶段才利用多帧的时序信息。

论文还引入了一个诊断框架（Hamdi et al. 2025），把评估误差拆解到不同源头：Tracking Oracle（T-Oracle）替换掉真实关联，测量纯关联误差；Tracking+Classification Oracle（TC-Oracle）再替换掉分类误差，留下纯掩码质量误差。结果发现，MinVIS 的 T-Oracle 差距高达 12.5 AP，而 QueenVIS 缩小到 7.5 AP，甚至比很多视频监督方法（如 VISAGE 9.2、CAVIS 8.7）还要低。更夸张的是，QueenVIS 的 AR1 追踪召回差距只有 1.0，几乎触及天花板——这意味着它检测到的实例几乎全部正确跟踪了。这个诊断框架的工作机制是：在评估时，用ground-truth的帧间关联替换模型预测的关联，从而计算出“理想关联下的AP”，真实AP与这个理想值的差就是纯关联误差。

这个诊断清楚地告诉我们：提升 image-only VIS 的关键不在于设计更复杂的关联模块，而在于把 query 的特征搞得“更紧致、更稳定”。QueenVIS 就是为此而来。作者还进一步分析了不同误差来源的占比：在MinVIS中，关联误差占总误差的约40%，而QueenVIS将其降低到约25%，说明关联质量是当前image-only方法的主要瓶颈。

3. 两大绝招：外观特征预测+中心点预测

QueenVIS 在训练时给 Mask2Former 的 query 增加了两个辅助任务，推理时完全去除，零参数开销。这两个辅助任务的设计非常巧妙：它们不改变模型的主干结构，只在训练时提供额外的监督信号，让query学习到更丰富的表示。

外观特征预测（Feature Prediction）： backbone 已经提取了丰富的实例特征，但标准 Mask2Former 的损失只要求 query 能分类和分割，并不强制 query 保留这些特征。QueenVIS 使用一个轻量 MLP 头，将 query 映射到 backbone 的实例描述空间，然后计算 L1 损失让 query “被迫”记忆外观。具体地，对每个匹配的 ground-truth 实例，用其掩码对 backbone 第4和第5阶段特征做 masked average pooling，得到目标描述符 f，然后让 query 的预测 f̂ 去拟合它。这个L1损失公式如下：

公式(2): L_feat = 1/N * Σ| f̂/||f̂|| - f/||f|| |_1

（公式截图建议替换为实际论文中的公式截图。此处用文字说明：L_feat = (1/N) * Σ|| normalized(f̂) - normalized(f) ||_1）

同时，这个特征距离还被加入到匈牙利匹配的代价中，让匹配自身也偏好外观一致的 query，进一步强化时序一致性。具体来说，在训练时的匈牙利匹配中，除了分类代价和掩码代价，还加入了特征距离代价，权重设为0.2。这样，模型在匹配query和ground-truth时，会优先选择外观特征相似的配对，从而在训练阶段就建立起外观一致性。

中心点预测（Center Prediction）：外观再强，遇到长得像的两个实例（比如一群斑马）也会傻眼。位置是最直接的区分线索。QueenVIS 用一个线性层（单层投影）预测每个 query 对应实例的归一化中心坐标，加 L1 损失。这使得 query 天然携带了空间结构，在匹配时提供几何先验，有效减少长距离身份跳变。中心坐标的预测非常轻量，仅增加一个线性层（2个输出神经元），几乎不增加参数量。

两个辅助头的权重分别设为 λ_feat=0.2、λ_center=0.05，与分类、Dice、Mask 损失一起优化。消融实验（表2）表明，仅用特征预测加推理关联即可从 MinVIS 的 44.2 提升到 49.6 AP，再加上中心预测再涨 1.3 AP 达到 50.9 AP。值得注意的是，特征预测带来的提升（+5.4 AP）远大于中心预测（+1.3 AP），说明外观信息对于query稳定性的贡献更大，但中心预测在长视频和遮挡场景中仍有不可替代的作用。

表2：在YouTube-VIS 2021上的消融实验。QP: 查询传播，MB: 记忆银行，FP: 特征预测，CP: 中心预测。每一步都带来稳步提升，最终达到50.9 AP。注意，仅使用QP+MB（即MinVIS的推理策略）只能达到44.2 AP，而加入FP后直接跃升至49.6 AP，说明训练阶段的query增强才是核心。

4. 免训练的时序关联：查询传播+记忆银行

单帧训练得到的 query 如何自然地关联到视频上？QueenVIS 根本不学任何跟踪器，而是靠一个训练无关的推理流水线。这个流水线包含两个关键组件：查询传播和记忆银行，两者都不需要额外的可学习参数。

置信度引导的查询传播（Confidence-Guided Query Propagation）：对每个 query，如果它在上一帧的置信度超过阈值 τ=0.8，就把它的 content query 与当前帧的初始化 content query 按比例 α=0.25 混合，作为当前帧 decoder 的初始输入。低置信度的 query 则直接使用默认初始化。这个“温暖启动”让 query 带着上一帧的记忆，但又不会过分偏离 decoder 的预期分布。混合比例α=0.25是经过实验验证的最优值，既保留了历史信息，又允许模型适应帧间变化。

非参数记忆银行（Non-Parametric Memory Bank）：仅靠一帧的传播不够稳健，一旦出现短暂遮挡，query 就丢了。QueenVIS 使用一个记忆银行，存储最近 K=3 帧中每个 identity 的 query 特征，通过置信度加权融合得到一个时序嵌入，然后与当前帧的 query 进行匈牙利匹配，分配 identity。这个记忆银行是完全非参数的，灵感来自 VISAGE，但 QueenVIS 直接存储 object query 本身，无需额外外观特征。记忆银行的更新策略是：对于当前帧匹配成功的query，将其特征以置信度为权重存入对应identity的记忆槽；对于未匹配的query，则创建新的identity。

超参数敏感性实验（表6）显示，K、α、τ 在合理范围内波动，AP 变化不超过 0.5，说明提升主要来自训练阶段的 query 增强，而非推理调参。例如，当K从3变为5时，AP仅下降0.2；当α从0.25变为0.5时，AP下降0.3。这种低敏感性使得QueenVIS在实际部署中不需要精细调参，鲁棒性较好。

5. 实验结果：长视频增益最大，追踪召回逼近天花板

QueenVIS 在四个主流基准上使用 ResNet-50 骨干，与 MinVIS 和其他方法对比。实验设置严格遵循公平比较原则：所有图像级训练方法使用相同的骨干和训练数据，视频监督方法则使用完整的视频标注。

表1：与SOTA方法对比（OVIS, YouTube-VIS 2019/2021）

表1：QueenVIS与最新方法在OVIS、YouTube-VIS 2019/2021上的对比。图像级训练方法（青底）全面超越 MinVIS，在YouTube-VIS 2021上达到50.9 AP，超越了一些视频监督方法（如CAVIS 50.5），逼近最强的VISAGE（51.6）。在OVIS这个最具挑战性的数据集上，QueenVIS达到29.6 AP，比MinVIS的24.8高出4.8 AP，虽然仍落后于视频监督的CAVIS（37.6），但差距已大幅缩小。

长视频/重遮挡场景：在 YouTube-VIS 2022 长序列验证集（序列特别长，容易积累漂移）上，QueenVIS 从 MinVIS 的 23.3 AP 暴涨到 33.6 AP（+10.3），AP75 更是猛增 14.7 点。这个极大差距说明 query 增强在长程关联上的价值——帧数越多，query 稳定性的收益越明显。具体来说，YouTube-VIS 2022的序列平均长度是2021版的2倍以上，因此对时序一致性的要求更高，QueenVIS的优势得以充分体现。

表3：YuTube-VIS 2022长序列结果。QueenVIS 相对 MinVIS 提升 10.3 AP，在所有指标上显著优于基线。值得注意的是，AP50提升12.1，AP75提升14.7，说明在高精度匹配要求下，QueenVIS的优势更加明显。

诊断分析揭示真实收益来源：使用 Hamdi 等的诊断框架（表4），QueenVIS 的 T-Oracle 差距（纯关联误差）仅 7.5 AP，不仅远低于 MinVIS 的 12.5，甚至低于视频监督的 VISAGE（9.2）和 CAVIS（8.7）。TC-Oracle 差距（去掉分类误差后）QueenVIS 为 14.2，与 CAVIS 打平。这说明 QueenVIS 的绝大部分提升确实来自关联质量的改善，而非掩码精度或分类得更好。进一步分析发现，QueenVIS的掩码质量（通过Mask Oracle评估）与MinVIS相当，说明辅助头没有牺牲分割精度。

表4：诊断误差分析。QueenVIS 的追踪召回差距（AR1，T-Oracle）仅为 1.0，表明几乎所有检测到的实例都正确跟踪，逼近理论上限。注意：VISAGE 和 CAVIS 为视频监督方法。这个1.0的差距意味着在100个检测到的实例中，只有1个存在关联错误，而MinVIS的这个数字是12.5。

定性对比：从 OVIS 序列的对比看，MinVIS 在遮挡后频繁出现身份切换（图3黄框）或掩码碎片（红框），而 QueenVIS 能稳定保持完整的跟踪。这种视觉差异与量化结果完全吻合。例如，在一个人群密集的街道场景中，MinVIS在行人相互遮挡后经常交换ID，而QueenVIS则能保持每个行人的ID一致性。

图3：OVIS上的定性结果。第一行为输入帧，中间行为 MinVIS，最下面为 QueenVIS。左：掩码碎片修复；中：严重遮挡下身份保持；右：目标消失后抑制假阳性。注意中间列中，MinVIS将遮挡后重新出现的行人错误地标记为新ID，而QueenVIS正确地保持了原ID。

结合 PaperDaily 已收录论文的观察：在 YouTube-VIS 2021 上，QueenVIS 的 50.9 AP 与目前收录的最优结果持平，整体处于第一梯队。但在 OVIS 上，与视频监督的顶尖方法（如 CAVIS 的 37.6）还有约 8 个点的差距，说明图像级训练在极端遮挡场景下仍有天花板，不过 QueenVIS 的 +4.8 AP 提升已经大幅缩小了这个距离。这个差距主要来自OVIS中频繁的长时间遮挡（如车辆被完全遮挡超过10帧），这种情况下单帧训练的方法难以恢复身份。

6. 总结与展望：图像级训练仍有潜力，诊断框架可迁移

QueenVIS 证明了：视频实例分割的图像级训练远远没有见顶，通过巧妙优化 query 表示，完全可以将视频监督的差距压缩到很小范围，而成本却低了一个数量级。其贡献可以总结为： - 提出特征预测+中心预测两个训练时辅助目标，零推理开销提升 query 跨帧稳定性。 - 设计免训练的关联流水线（查询传播+记忆银行），避免任何跟踪参数。 - 诊断分析表明，关联质量是瓶颈，且 QueenVIS 的追踪召回已接近理论天花板。

展望：未来可以探索更强的辅助目标（如相对关系蒸馏、多尺度特征融合），或将 query 增强扩展到其他视频理解任务（如视频全景分割、多目标跟踪）。另外，诊断框架本身也可以复用——当你的模型 AP 优秀但时序不连贯时，可以用它来准确定位到底是关联问题还是分类/掩码问题。例如，如果T-Oracle差距大，说明需要改进关联模块；如果TC-Oracle差距大，说明需要改进分类或掩码质量。

龙迷三问

下面是龙哥对大家可能问题的解答：

Q1：QueenVIS 和 MinVIS 到底差在哪？MinVIS 只靠分类和掩码损失训练 query，导致跨帧 query 特征不稳定，关联全靠“缘分”。QueenVIS 额外用外观特征和中心坐标监督 query，让 query 学到更紧致、更稳定的表示，从而大幅提升关联质量，且推理零参数。打个比方：MinVIS的query像没有记忆的金鱼，每帧都重新识别；QueenVIS的query则像有长期记忆的侦探，能根据外观和位置线索持续追踪。

Q2：文中提到的“Mask2Former”是什么？Mask2Former 是 Meta 提出的一种通用的图像分割架构（Masked-attention Mask Transformer），它使用 Transformer decoder 中的可学习 query 来预测每个实例的类别和二进制掩码。QueenVIS 基于 Mask2Former 构建，但修改了其训练损失，增加了两个辅助预测头。Mask2Former的核心创新是masked attention，它只让query关注预测掩码区域内的特征，从而加速收敛并提升性能。

Q3：诊断框架中的“T-Oracle”到底如何工作？T-Oracle 是在评估时用 ground-truth 的帧间关联关系替换模型自己的关联，从而计算出理想关联下的 AP。模型真实 AP 与 Oracle AP 之间的差距就是纯关联误差。这个框架来自 Hamdi et al. 2025（论文“Breaking the Bottleneck”），不依赖特定模型，可以迁移到其他时间序列任务。具体实现时，T-Oracle会读取ground-truth的跟踪ID，然后用这些ID替换模型预测的ID，再重新计算AP。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★★☆

提出“训练时增强query，推理时丢弃”的思路并不完全全新（类似知识蒸馏），但在VIS领域以极简方式系统验证了 query 质量的瓶颈，并给出了两个互补且高效的辅助目标，整体创新尚可。

实验合理度：★★★★★

实验覆盖了四个基准、大量消融和诊断分析，与多个SOTA对比，甚至引用了第三方诊断框架来分离关联误差，很扎实。与 MinVIS 的对比是公平的（相同骨干、相同训练例程，仅增加辅助损失）。

学术研究价值：★★★★★

重新审视了“视频级监督是否必须”这一基本问题，并给出有说服力的定量证据（追踪召回 gap 仅 1.0）。为后续摆脱视频标注提供了清晰路径，研究方法论（诊断框架）也可推广。

稳定性：★★★☆☆

超参数敏感性较低，但依赖阈值 τ=0.8 和 α=0.25 需要针对不同数据集微调。在极端遮挡如 OVIS 上 AP 提升相对较小，说明对严重遮挡的鲁棒性有限。

适应性以及泛化能力：★★★★☆

在三个不同数据集（YouTube-VIS多版本+OVIS）上表现出一致提升，长视频尤其显著。但仅在 ResNet-50 骨干上验证，缺少与更大骨干（如Swin-B）的对比，泛化到其他架构（如Video-Swin）未测试。

硬件需求及成本：★★★★★

训练仅需单卡 H200，推理时与 MinVIS 相同计算量（same GFLOPs），非常适合计算资源有限的场景。记忆银行只存储 3 帧的 query 嵌入，内存开销可忽略。

复现难度：★★★★☆

代码和模型已开源（GitHub），基于 Detectron2 和 Mask2Former，配置清晰。但需要编译 CUDA 算子（MSDeformAttn），可能对新手有一定门槛。

产品化成熟度：★★★☆☆

零推理参数增量是重大优势，但需要针对具体场景调优阈值和记忆银行大小。对 OVIS 级别的密集遮挡，目前还无法完全替代视频监督方法。可优先应用于视频标注数据稀缺、但对实时性要求不高的场景（如视频监控离线分析）。

可能的问题：1. 仅在 ResNet-50 上评估，缺乏更大骨干结果（如 Swin-L），文献[11]（VPS）已经显示 center prediction 在更大骨干上可能饱和。2. 辅助头的权重 λ_feat, λ_center 在 OVIS 上未做专门调优，可能还有进一步提升空间。3. 记忆银行机制中的特征加权方式直接取自 VISAGE，未做创新改进。

融会贯通

结合 PaperDaily 已收录论文观察到：QueenVIS 在 YouTube-VIS 2021 上的 50.9 AP 与目前已收录的最优结果持平，属于第一梯队。但其突出特点是“无视频监督”，这使其在标注稀缺场景下极具吸引力。从诊断分析来看，QueenVIS 的关联质量甚至优于部分视频监督方法，这提示我们：未来 VIS 的发展方向不应只是堆叠复杂时序模块，提升 query 本身的稳定性或许是一条更经济的路径。此外，这种“训练时增强、推理时精简”的思路也可以推广到其他视频理解任务，如视频全景分割、多目标跟踪等。

主要参考文献

[1] MinVIS: A Minimal Video Instance Segmentation Framework without Video-level Training. CVPR 2023.

[2] Mask2Former: Masked-attention Mask Transformer for Universal Image Segmentation. CVPR 2022.

[3] VISAGE: Video Instance Segmentation via Appearance-guided Memory Bank. ECCV 2024.

[4] Hamdi et al. Breaking the Bottleneck of Temporal Association in Video Instance Segmentation. 2025.

[5] QueenVIS 开源代码: https://github.com/ArianKheir/QueenVIS

*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～想了解更多原文细节的小伙伴，可以点击"阅读原文"，查看更多原论文细节哦！

想用单帧训练搞定视频分割？QueenVIS告诉你，零参数推理也能逼近SOTA！
欢迎加入龙哥读论文粉丝群，扫描下方二维码或者添加龙哥助手微信号加群：kangjinlonghelper。一定要备注：研究方向+地点+学校/公司+昵称（如视频分割+上海+清华+龙哥），根据格式备注，可更快被通过且邀请进群。
wechat_helper