← 返回 PaperDaily
视觉与图像
比单图SR强太多？多视图+序列人脸超分还能顺便提升Re-ID
人脸超分一直有个尴尬：单张低清图怎么补也补不出真实五官。这篇韩国三校合作的工作干脆“摇人”——把同一个人的多张低清监控图凑在一起，用Transformer把身份特征统一起来，再靠级联网络一步步把脸“画”清晰，顺便把行人再识别也推进了一把。思路简单粗暴，效果却很能打。
龙哥读论文
发布于 2026-09-05 00:31:11
阅读 3
查看原文
原论文信息如下：
先聊一个很多人拍脑袋就能想到、却一直没被做利索的场景：监控摄像头里的那张脸，糊到连亲妈都认不出来。传统图像超分辨率（Super-Resolution，简称SR）试过各种狠活，从卷积网络到扩散模型，单张低清图补细节，补来补去眼睛歪了、鼻子糊了、轮廓像是P出来的——本质上是因为单帧图像信息量根本不够。人脸超分这个事，最气人的点在于：同一个人的有效信息明明就在那儿，散落在多段视频、多个机位里，却没有方法把它们真正“凑”到一起用。
这篇来自韩国三所高校——延世大学、东德女子大学、淑明女子大学的论文，干脆把思路换了个方向：单张不行，那就“摇人”。同一目标的多张低清人脸图像一起上，用Transformer把跨图像的身份特征统一起来，再用一个级联SR网络逐步把高清细节“画”出来。更妙的是，这套统一后的身份表征还能顺手用到行人再识别（Person Re-identification，简称Re-ID）上，匹配精度也一起涨。
人脸超分辨率的痛点：单图信息不足，多图如何协作？ 先交代清楚“为什么单图超分搞不定监控人脸”。常规的单图像超分方法，无论是最早基于回归的SwinIR、LIIF，还是基于生成模型的ESRGAN、Real-ESRGAN、IDM，本质都是从一张低分辨率输入里硬抠高频信息。低清图像的信息熵就那么大，网络再能“脑补”也补不出真实的身份细节。特别是8倍超分这种极端设置，低分辨率输入只有32×32像素，眉毛眼睛鼻子嘴全糊成一片，任何单图方法都容易产生平滑、失真的结果。
有一些研究尝试往人脸超分里引入先验知识，比如人脸关键点（facial landmarks）、人脸分割图（facial segmentation），效果是有，但结果强烈依赖先验本身准不准。低清图上关键点定位一旦偏了，五官就会被“修”到错误的位置上。还有一类视频超分方法，输入是连续的时序帧，看起来信息多了，但它们并没有充分建模帧与帧之间的身份相关性，所以提升十分有限。
本文作者抓住的正是这个“信息互补”的机会：同一人在监控系统里往往会被多个摄像头拍到，或者在一条视频序列里出现几十帧画面。不同帧之间，脸部姿态不同、光照不同、遮挡不同，但它们共享一个底层的身份特征——眼睛的间距、鼻子的形状、下巴的轮廓。如果能把多张图像里的共同身份信息提取出来、统一成一个稳定的身份表征，再拿这个表征去指导超分，就不愁“一张图没法补全”的问题了，这也是整套方法叫“协作特征聚合（Collaborative Feature Aggregation）”的原因。
图1：低分辨率监控人脸序列与不同方法超分效果对比。本文方法在级联超分网络和协作身份重建的共同作用下，生成的人脸质量显著优于之前的最先进方法IDM。
核心创新：Transformer协作身份聚合的机制拆解 整个框架的第一块基石，是一个基于Transformer的协作身份网络（Collaborative Identity Network）。假设输入是同一个人的N张低分辨率人脸图像，记作I₁, I₂, …, I_N。首先用一个人脸身份特征提取网络φ(·)分别对每张图提取身份特征。这里φ(·)选的是人脸识别领域一个很有代表性的模型——ArcFace，它把一张人脸映射成一个身份特征向量，向量之间的余弦相似度可以衡量两张脸是不是同一个人。
问题来了：低清图像直接提身份特征，不同帧的特征差异可能非常大。同一个人在不同姿态下，ArcFace提出来的特征可能都不像一个“人”的。于是作者引入一个多头自注意力模块（Multi-head Self-attention），让N张图的身份特征两两交互、互相修正。公式可以写成：
fID = Attn(φ(I₁), φ(I₂), …, φ(I_N)) 其中Attn(·)就是多头自注意力网络。fID就是最终得到的“统一身份表征”。这么做有个很巧妙的设计点：N张输入图之间不分主次、没有主图副图之分，所有位置都被一视同仁地对待。为了彻底消除输入顺序带来的偏置，训练的时候还会随机打乱N张图的排列顺序，强迫模型只关注图像内容本身，而不是序列里的先后关系。
这个统一身份表征的意义在于：它把单张图里残缺的、不稳定的身份线索，通过跨图像注意力机制融合成了一个更完整、更稳定的“身份锚点”。之后，这个锚点会被注入到SR网络里，像一张“人脸蓝图”一样指导清晰图像的恢复过程——眼睛该长在哪、鼻梁该多高、下巴线条往哪收，都从多张图共同投票出来。
图2：本文提出的级联超分框架整体架构。（a）基于Transformer的协作身份网络；（b）基于UNet的级联恢复模型；（c）多图协作的级联超分框架（N=2情况）。
级联SR：从模糊到清晰的渐进式恢复之路 有了统一的身份先验，第二步就是怎么用它恢复高清人脸。作者设计了一个级联恢复模型（Cascade Restoration Model），核心思想很直白：一步到位生成高清脸太难，那就把超分过程拆成多轮迭代，每轮只负责修正当前结果与高清目标之间的残差（delta）。
具体来说，对第i张输入人脸，先把低分辨率图像通过双线性插值初步放大到目标SR尺寸，然后送入一个基于UNet结构的编码器-解码器网络。编码器用卷积神经网络把低清图像压缩成潜在表征，解码器则使用基于MLP的图像隐式神经表示（Implicit Neural Representation）逐点重建RGB值。解码器的输入不只来自编码器的特征，还会把统一身份表征fID一起拼进来作为条件，让网络在恢复细节时始终有“这个人到底长什么样”的参考。
Iik+1 = CRM(Iik, fIDk) = Iik + ΔIik 其中CRM(·)是级联恢复模型，Iik是第k轮迭代后的图像，ΔIik是网络预测的残差，M是总迭代次数。本文实验里设M=3。也就是说，网络要“画”三笔，第一笔画出大轮廓，第二笔补上五官结构，第三笔细化皮肤纹理和边缘细节。
更关键的是，作者没有把统一身份表征当成一个“一次性”的条件用掉。在每一轮级联迭代中，都会根据当前轮的复原结果重新计算一次协作身份特征：
fIDk = Attn(φ(I1k), φ(I2k), …, φ(INk)) 也就是说，第k轮先生成多张中间结果，再用协作注意力从这些中间结果里重新提取一个更清晰的统一身份，指导下一轮修复。这种“修复→聚合→再修复”的闭环，让身份先验随着迭代不断变准，五官细节也越补越像真人。相对于传统的单轮超分或者简单堆叠多帧的做法，这个设计的巧妙之处在于：它把“多图协作”和“渐进式修复”拧成了一股绳，而不是各管各的。
训练目标包含两部分损失。第一部分是图像重建损失，计算SR输出与高清真值之间的L1距离，确保像素层面尽量接近；第二部分是身份损失，计算SR输出与高清真值的ArcFace身份特征之间的L1距离，确保恢复出来的人脸身份一致。总损失写成：
Lall = Σi [ Limg(IiSR, IiGT) + λID LID(IiSR, IiGT) ] 其中λID是平衡系数，实验中设为1.0。简单说，就是让网络输出既要像素像，也要身份像，两条腿走路。
实验验证：序列、多视角、真实监控全面开花 数据方面，本文没有用FFHQ这类单张高清人脸数据集，因为它们不包含同一个人的多张图。作者选用的是VFHQ和CelebV-HQ两个高质量人脸视频数据集，一个分辨率在700×700到1000×1000之间，另一个是512×512，都满足“同一人多帧”和“高清真值”两个条件。多视角测试则用的是multiface数据集，每个身份有40到160个相机视角拍摄的表情序列。
实验设置上，高清图统一放到256×256，低清图用双三次插值下采样到32×32，也就是8倍超分。对比方法选得很讲究：IDM代表扩散生成式超分，VQFR代表基于码本先验的人脸超分，MVSR代表多视角超分，SAVSR代表视频超分。另外还加了一个有意思的消融设置——Ours-表示只输入单张图、但保留级联身份机制的版本，Ours表示完整的双图协作版本。这样既能验证协作机制的作用，又能在“输入同一张图”的前提下公平对比。
表1：VFHQ和CelebV-HQ数据集上序列图像的定量对比结果。Ours在PSNR、SSIM、LPIPS、ID、FID全部指标上取得最佳。
从表1可以看到几个有意思的现象。IDM的表现垫底，PSNR只有19.65，因为它虽然能生成纹理，但却很难恢复身份专属特征。VQFR靠提前训练好的面部码本，视觉上更锐利，但码本里的“先验脸”一旦跟真实身份对不上，就会出现眼睛错位、表情僵硬的问题。MVSR和SAVSR虽然用了多帧或多视角信息，但一个过度平滑，一个产生了非自然伪影——这说明“用了多帧”和“用好多帧身份信息”是两码事。
本文完整的Ours模型在PSNR上达到25.58，比VQFR高了2.55dB，比最强的视频超分方法SAVSR高了1.82dB；身份一致性指标ID达到0.792，比VQFR高出0.107，说明协作身份聚合确实对保持“这是同一个人”起了大作用。值得一提的是Ours-（单图输入）性能也跟VQFR打平，说明级联身份机制本身足够强，给它配上多图协作直接起飞。
图3：VFHQ和CelebV-HQ数据集上的8倍超分定性对比。本文方法生成的人脸细节最接近高清真值。
定性结果看图3更直观。IDM输出整体平滑但五官糊成一片；VQFR脸上锐利却眼神不对；SAVSR在一些帧里能看清五官，但嘴角和眼窝会有奇怪的纹理扭曲。本文方法在眼睛轮廓、鼻梁阴影、发丝纹理这些高频细节上，肉眼可见地更接近中间列的高清真值。
论文还做了误差图分析，也就是把每张输出图与真值逐像素取差的绝对值，误差越大越亮。IDM的误差图在眼鼻嘴区域一片通红，VQFR则在发丝和脸部轮廓处有亮斑，SAVSR的眼睛和嘴唇周围有明显残差。而本文方法的误差图在全脸范围内显著更暗、更均匀，说明协作机制不只是把图像变清晰，而是真的把五官结构放回了正确的位置。
图4：VFHQ和CelebV-HQ数据集上8倍超分结果的误差图。本文方法在全脸区域的误差显著低于其他方法。
除了序列数据，论文还在multiface多视角数据集上验证了方法对视角变化的鲁棒性。即使同一张脸在不同相机下的角度差异很大，协作身份网络依然能从多个视角中提取出稳定的身份特征，超分结果同样优于全部对比方法。在真实监控低清图像上的测试也表明，方法对实际场景中的模糊、噪声、压缩伪影有一定的抵抗力，而不是只在人工下采样数据上好看。
消融实验部分确认了三件事：去掉协作身份网络后，PSNR和ID都明显下降，证明跨图像身份聚合是核心收益来源；去掉级联结构后，图像细节恢复能力减弱，证明渐进式残差学习确实有效；输入图像数量从2张增加到更多时，性能还能继续小幅提升，但2张图的性价比最高。
从SR到Re-ID：统一身份表征的泛化价值 这套框架的价值不止于“把图修好看”。作者把协作身份网络提取到的统一身份表征直接拿来做行人再识别（Person Re-identification，简称Re-ID）任务。Re-ID的目标是判断不同摄像头、不同时间拍到的行人是不是同一个人，这在安防场景里的地位不亚于人脸识别。
实验结果显示，用协作身份网络聚合后的统一表征做Re-ID，匹配准确率明显高于直接用单张低清图提取的特征。即便输入是严重退化的低清人脸，身份特征经过多图聚合后依然能和清晰图特征对齐。更难得的是，作者还将方法迁移到了全身行人图像的Re-ID场景——输入不是人脸，而是完整的行人框，协作聚合的机制同样能工作。
这说明一个更本质的道理：在监控场景里，超分和Re-ID本来就不该是两套割裂的系统。先做协作超分再把结果丢给Re-ID，误差会一级级累积；而如果从多帧图像里直接提炼统一身份，再反哺SR和Re-ID两个任务，反而能形成正循环。本文用实验证明了这条路走得通。
局限与展望：多图依赖与计算开销如何破局？ 任何方法都有代价。本文方法最明显的限制是：它假设同一个人的多张图是现成的。在监控场景里这通常成立，但在单张家庭照片、单张身份证照片这种“只有一张图”的场景里，协作身份网络就退化成Ours-——虽然依然能用，但多图协作带来的增益会消失。论文也明确指出，当输入图像之间差异过大、或者某些图像质量过差时，注意力聚合可能会被低质量特征干扰。
另一个现实问题是计算开销。Transformer注意力本身有平方复杂度，再加上级联网络要迭代M次，每次迭代还要重新做一次协作聚合，推理成本相当可观。虽然实验在单张RTX 3090上完成，但实际安防系统要同时处理几十路摄像头画面，这个延迟未必扛得住。轻量化方向是下一步最值得做的优化，比如用线性注意力替换多头自注意力，或者把级联迭代次数从3降到2并配合蒸馏来保住精度。
从更宏观的视角看，这篇工作真正的价值在于示范了一种范式转变：把SR从“单图修复任务”变成“多图协作推理任务”。在视频监控、多摄像头网络、智能相册这些天然多图场景里，“协作”才是解锁信息上限的正确姿势。这个思路完全可以扩展到视频去模糊、低光增强、深度估计等其他底层视觉任务上。
龙迷三问 Transformer协作身份聚合到底在聚什么？
级联SR网络为什么能减少模糊？
为什么多张低清图能恢复出单张图恢复不出的细节？
如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~
龙哥点评 论文创新性： ★★★★☆
把“多图身份协作”和“渐进式级联SR”组合成一个端到端框架，并验证了SR与Re-ID的互惠关系，这个思路在人脸超分领域较新颖。实验合理度： ★★★★☆
对比方法涵盖了超分、人脸先验、视频超分、多视角超分四类主流方向，还做了单图/多图自对比，实验设计较为完整。但部分数据集规模偏小，缺少更大规模的跨数据集泛化测试。学术研究价值： ★★★★☆
提出了一种“利用多观测信息反推共同身份”的新范式，对SR、Re-ID以及两者结合的研究都有启发。稳定性： ★★★☆☆
在多张输入图质量都较差或视角过于极端时，协作聚合可能被噪声特征带偏。级联迭代能缓解但无法完全消除。适应性以及泛化能力： ★★★☆☆
在视频序列、多视角、真实监控场景中都验证了有效性，并且能扩展到全身Re-ID。但“需要同一人多张图”的前提限制了其在纯单图任务中的普及。硬件需求及成本： ★★☆☆☆
Transformer注意力加多轮级联迭代，训练和推理开销都偏高。虽然实验在单张RTX 3090上完成，但实时多路监控部署会比较吃力。复现难度： ★★★☆☆
作者没有明确提供开源代码链接，数据集准备和ArcFace等组件的整合需要自己搭，有一定工作量。产品化成熟度： ★★☆☆☆
监控安防、智能相册等场景有明确需求，但当前计算开销和多人脸实时处理能力离产品化还有距离。可能的问题： 表格只展示了平均指标，没有给出方差或统计显著性检验；多视角实验的规模相对有限。若能补充不同退化类型（噪声、压缩伪影）的鲁棒性分析，说服力会更完整。
主要参考文献
[1] Hwang J, Kim T, Kang J. Collaborative Feature Aggregation for Face Super-Resolution and Robust Re-Identification. arXiv preprint, 2026. [2] Liang J, Cao J, Sun G, et al. SwinIR: Image restoration using swin transformer. ICCV 2021. [3] Wang X, Xie L, Dong C, et al. Real-ESRGAN: Training real-world blind super-resolution with pure synthetic data. ICCV 2021. [4] Deng J, Guo J, Xue N, et al. ArcFace: Additive angular margin loss for deep face recognition. CVPR 2019. [5] Gu Y, Deng C, Wei D, et al. VQFR: Blind face restoration with vector-quantized dictionary and parallel decoder. ECCV 2022. [6] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need. NeurIPS 2017. [7] 原文链接：https://arxiv.org/pdf/2607.28130v1.pdf 融会贯通 结合PaperDaily已收录论文可以观察到，VFHQ和CelebV-HQ上的PSNR=25.58这个数值，在当前知识库中暂时缺少足够的同基准数值来做严格排名对比，因此不建议把本文结果直接外推成跨数据集全面领先的结论。不过单就本文报告的实验设置（8倍超分、32×32到256×256、同一训练/测试划分）而言，Ours在所有指标上一致优于IDM、VQFR、MVSR、SAVSR等对比方法，这个趋势是清晰且可信的。需要提醒的是，不同论文在数据划分、退化模拟方式上可能存在差异，读者横向对比数值时需要留个心眼。
换个角度看，“多图协作提身份、身份先验反哺修复”的关键思路，其实可以迁移到很多多视角、多时相的视觉任务里去。无论是视频去模糊、多视角深度估计，还是跨摄像头目标跟踪，本质上都面临“单帧信息不够、多帧信息冗余且不对齐”的矛盾。这篇文章相当于给出一个可参考的解法范本：先用注意力机制把多帧的共性信息凝聚成一个稳定的先验，再用这个先验去指导逐帧恢复。这个范式比简单地把多帧拼在一起喂给网络要优雅得多，后续值得继续关注。
*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～ 想了解更多原文细节的小伙伴，可以点击 "阅读原文"， 查看更多原论文细节哦！
低清糊脸别发愁，多图协作解千愁。超分再识两手抓，加群聊透不迷路～
欢迎加入龙哥读论文粉丝群，
扫描下方二维码或者添加龙哥助手微信号加群 ：kangjinlonghelper。
一定要备注：研究方向+地点+学校/公司+昵称（如 图像处理+上海+清华+龙哥） ，根据格式备注，可更快被通过且邀请进群。
『龙哥读论文』微信群目前包含：图像处理、大模型及智能体、自动驾驶及机器人、AI医疗及AI金融5个群
