← 返回 PaperDaily 视觉与图像

最新研究：零样本免训练图像篡改定位，AUC高达0.839

图像取证是典型“平时用不上、出事就救命”的技术。这篇论文不依赖训练数据、不查设备指纹库，仅凭单张可疑图像就能定位篡改区域，RTD数据集上AUC达0.839、IoU 0.725，多项指标领先同类方法。做内容安全、多媒体取证的朋友值得一读。

龙哥读论文 阅读 2 查看原文
#图像恢复 #人工智能 #AI应用
最新研究：零样本免训练图像篡改定位，AUC高达0.839
原论文信息如下：
论文标题:
Zero-Shot Color Image Manipulation Localization via Noise Residual Artifact Pattern Analysis
发表日期:
2026年08月 发表单位:
INFOTEC Centro de Investigación e Innovación en Tecnologías de la Información y Comunicación, Aguascalientes, Mexico 原文链接:
https://arxiv.org/pdf/2608.20558v1.pdf
你有没有想过，一张看似普通的照片背后，其实藏着成像设备独有的“出厂印记”？就像每个人指纹不同，每台相机、每部手机在拍下照片的那一刻，都会在图像里留下只有它自己才有的微观痕迹。这种痕迹，正是图像取证专家用来辨别真伪的关键线索。
随着智能手机、监控摄像头、无人机遍地都是，图像内容早已成为新闻传播、司法证据、社交媒体上的主要信息载体。但与此同时，修图软件的普及和生成式AI的爆发，让“眼见为实”这句话越来越站不住脚。一张被篡改过的图片，可能在舆论场上发酵几小时后才被辟谣，甚至永远没人发现。如何快速、自动地判断一张图哪里被动过手脚，就成了内容安全领域一块难啃的硬骨头。

零样本图像取证：无需训练即可定位篡改区域

传统被动图像取证方法，大多依赖一个前提：要么手里有一台可疑设备的参考指纹库，要么有一堆标注好的篡改样本用来训练模型。但现实场景哪有那么理想？公安取证、新闻核验、司法鉴定中，鉴定人员往往只有一张孤零零的可疑图片，既不知道拍摄设备是什么，也没有任何先验知识可用。这种情况下，传统方法基本歇菜。
来自墨西哥INFOTEC研究与创新中心的Edgar González-Fernández，针对这个痛点提出了一套完全零样本、免训练的盲取证流水线。所谓零样本，就是不需要任何训练数据、不需要设备登记、不需要参考图像，直接对单张可疑图像做“体检”。核心思想听起来并不复杂：每台成像设备都会在图像中留下独特的CFA插值伪迹，篡改操作会破坏这种伪迹的周期性和统计一致性，只要能从单张图中提取出这个“设备指纹”，再逐块比对哪里对不上，篡改区域自然就暴露了。
但问题来了：传统方法大多只盯着Bayer阵列的绿色通道，因为绿色通道采样密度最高，分析起来最“顺手”。可红色和蓝色通道里同样藏着大量互补的取证信息，丢掉多可惜。本文的方法偏偏不走寻常路，直接对全彩色噪声残差进行分析，把RGB三个通道的信息全部利用起来，同时还搞了一套自适应的参考伪迹模式估计策略，连设备是2×2还是3×3的CFA周期都不需要提前假设。这份“盲人摸象还能摸出门道”的功力，确实有点东西。
整套流水线分为四步：先从单张可疑图像提取全彩色噪声残差；再从残差中估计参考伪迹模式；接着做块级相关分析，看每个图像块跟参考模式是否“对得上号”；最后用两分量高斯混合模型打分，输出像素级的篡改概率图。整个过程不需要任何外部资源，端到端跑完就是一张标注出篡改区域的概率热力图。

从噪声残差中提取设备指纹：核心原理揭秘

要理解这套方法，先得明白数字图像是怎么“出生”的。光线通过镜头打到传感器上，每个感光单元只能记录一种颜色。为了得到彩色图像，传感器表面覆盖着一层Color Filter Array，也就是色彩滤波阵列，最常见的布局就是Bayer阵列，呈2×2的周期排列，绿色占一半，红色和蓝色各占四分之一。每个像素只测了一种颜色，那另外两种颜色怎么来？靠插值，也就是去马赛克过程。这个过程会引入特定的空间依赖关系，在图像里留下周期性的统计规律。
图像采集完还要经过相机内后处理、有损压缩这些不可逆的操作，每一步都会叠加设备特有的痕迹。所有这些痕迹叠加在一起，就构成了图像取证中常说的“设备指纹”。如果一张图被篡改，比如把路人甲P掉、把某样东西复制粘贴过来，甚至用AI重新生成一块内容，这些操作都会破坏原有设备指纹的完整性。于是篡改区域和真实区域之间，就出现了统计特征上的“断层”。
下面这张图展示了图像采集与压缩流水线中各个环节会引入伪迹：
图1：数字图像采集与压缩流水线中引入伪迹的各个阶段。由有损、不可逆处理步骤留下的统计痕迹，被被动取证方法用于篡改定位。
图1：数字图像采集与压缩流水线中引入伪迹的各个阶段。由有损、不可逆处理步骤留下的统计痕迹，被被动取证方法用于篡改定位。
那怎么把设备指纹从图像里“抠”出来？这里用到一个关键概念：噪声残差。定义很简单：把原图减去一张去噪估计图，剩下的就是残差。公式 W = I - Dθ(I)，其中Dθ是带参数θ的去噪算子。如果去噪器选得合适，残差里就会保留大量与采集设备相关的信号，包括PRNU传感器噪声、CFA插值结构等。
经典的PRNU指纹估计需要多张同设备图像做最大似然估计，公式 K̂ = ΣW⁽ⁱ⁾I⁽ⁱ⁾ / Σ(I⁽ⁱ⁾)²。但这要求手里先有一批同设备照片，盲取证场景用不上。本文的思路是：既然拿不到多张图，那就从单张图内部找规律。CFA插值伪迹在整张图里是周期性重复的，只要把噪声残差划分成一个个小块，再把这些块叠加平均，周期性的伪迹结构就会在平均过程中被增强，而随机噪声和场景内容会被削弱，这不就“无中生有”地造出一个参考模式了吗？

自适应去噪器选择：如何找到最优配置

噪声残差的质量，直接决定后续取证分析的成败。去噪器太强，把设备噪声也一并抹掉了，残差里啥都不剩；去噪器太弱，场景内容大量残留，干扰参考模式的估计。怎么选才合适？本文提出了一个量化准则：采集到插值的噪声方差比率ρ(θ) = σA(θ) / σI(θ)，其中σA是真实相机采集区域残差的标准差，σI是合成插值区域残差的标准差。
具体来说，论文从skimage.restoration模块中选了三种代表性去噪算法，分别覆盖小波收缩、全变分和双边滤波这三类主流去噪范式，然后对每种算法的主要超参数做网格扫描。衡量标准就是前面的ρ(θ)比率：真实相机采集区域的残差标准差，除以合成插值区域的残差标准差。比值越高，说明去噪器越擅长“保留设备噪声、滤掉插值平滑信息”。
公式：采集到插值的噪声方差比率ρ(θ) = σA(θ) / σI(θ)
其中σA(θ)表示真实相机采集区域上残差的标准差，σI(θ)表示合成插值区域残差的标准差。这个比值刻画了“真噪声”和“插值平滑痕迹”在去噪后的分离程度。最优参数就是让这个比值最大的那组配置。
公式：最优参数θ* = argmax ρ(θ)
最终扫描结果如下表所示。三种算法里，全变分去噪（TV Chambolle）以ρ=2.414的成绩胜出，成为后续流水线中默认采用的去噪算子。有意思的是，小波去噪只有在最浅的分解层级L=1配合bior4.4小波时才表现最好，说明去噪力度太深反而会把取证信号一起“洗掉”。
表1：各候选去噪算法的最佳配置及采集到插值标准差比率ρ(θ*)
表1：各候选去噪算法的最佳配置及采集到插值标准差比率ρ(θ*)。数值越高，代表去噪器在保留真实采集噪声的同时，对插值伪迹的抑制越到位。
图2：基于小波去噪的采集到插值方差比率ρ(θ)随估计噪声标准差σ̂的变化，覆盖分解层级L∈{1,…,5}和六种小波族
图2：基于小波去噪的采集到插值方差比率ρ(θ)随估计噪声标准差σ̂的变化，覆盖分解层级L∈{1,…,5}和六种小波族。整体来看，L=1的浅层分解能获得更高ρ，说明浅层分解在保留采集噪声结构与抑制插值内容之间取得了更好平衡。

块级相关分析+GMM评分：完整流程解析

有了最优去噪器，接下来就是整套流水线的核心环节。论文的完整流程可以浓缩成下面这张框架图：
图3：本文提出的零样本定位流水线总览
图3：本文提出的零样本定位流水线总览。整个流程分为噪声残差提取、参考伪迹模式估计、块级相关分析和GMM概率打分四个阶段，全程不需要任何训练数据或设备指纹库。
第一步是提取全彩色噪声残差。和传统方法只盯着绿色通道不同，本文对R、G、B三个通道分别做去噪再相减，把三份残差叠成一个联合信号。这样做的好处很明显：红色和蓝色通道虽然采样密度低，但它们各自携带的CFA插值结构并不相同，多通道信息合在一起，对篡改痕迹的刻画更完整。
公式：第c颜色通道的噪声残差Wc = Ic - Dθ*(Ic)，c∈{R,G,B}
第二步是估计参考伪迹模式。CFA插值伪迹在整张图里是周期性重复的，只要把残差图划分成一个个不重叠的B×B小块，再把这些小块按位置叠加求平均，周期性的伪迹结构就会被增强，随机噪声和场景内容则被平均掉。论文同时构造了两个候选模式：一个是带符号平均，保留噪声波动的正负方向；另一个是绝对值平均，只保留幅度结构，不关心极性。
公式：带符号平均参考模式Pc(1) = (1/K)ΣBk 公式：绝对值平均参考模式Pc(2) = (1/K)Σ|Bk|
两个模式到底选哪个？论文用了一个很聪明的判据：对候选模式做二维离散余弦变换（DCT），看非直流分量系数的总能量。能量越高，说明这个模式的周期性结构越强，越接近真正的CFA插值指纹。这样既不用预设设备类型，也不用提前知道CFA是2×2还是3×3的周期，完全由数据自己说了算。
公式：通过DCT非直流系数总能量选择最优参考模式P*
第三步就是块级相关分析。把估计出的最优参考模式P*当成一个“标准指纹模板”，然后让图像里每一个B×B小块都跟这个模板算一遍Pearson相关系数。如果某个小块来自真实区域，它的噪声结构和参考模式高度一致，相关系数接近1；如果这个区域被篡改过，噪声结构被打乱，相关系数直接掉向0。把每个块的相关系数拼成一张图，就得到了块级相关特征图F。
第四步是GMM概率打分。相关特征图的数值分布，论文用两分量高斯混合模型（Gaussian Mixture Model）来建模。高斯混合模型本质上就是假设数据来自若干个高斯分布的叠加，这里用两个分量分别对应“真实块”和“篡改块”。参数通过期望最大化算法估计，均值较大的那个分量判为真实整体，另一个就是可疑对象。每个块最终拿到一个属于“篡改分量”的后验概率，逐块赋值后形成像素级的软篡改概率图T。想要二值掩码的话，再用Otsu大津法自动选一个阈值τ，把概率图切成分明的篡改/真实两半。
公式：二值定位掩码S(i,j)，按阈值τ对软概率图T进行分割
这一步的设计很妙：GMM不需要任何标注数据，它只根据相关值自身的双峰分布就能把两类块自动分开。也就是说，整个流水线从去噪器选择到最终定位，全程没有一次监督学习，真正做到了零样本、零训练。

实验结果：多项指标领先，但仍有挑战

实验环节使用的是Realistic Tampering Dataset（RTD）真实篡改数据集，里面包含多种相机型号拍摄后经真实编辑操作篡改的图像。评价指标上，除了常规的精确率、召回率、F1分数和像素准确率，论文还特别引入了马修斯相关系数（Matthews Correlation Coefficient，MCC）——这个指标对“篡改区域占比很小”这类类别极不平衡的场景特别友好，比单纯看准确率可靠得多。同时，AUC-ROC则用来衡量软概率图T在任意阈值下的整体判别能力。
公式：马修斯相关系数MCC的计算公式，综合考虑TP、TN、FP、FN四项混淆矩阵元素
下面这张图展示了流水线在RTD数据集两张示例图像上的完整执行过程。左边是索尼α57拍摄的图，右边是佳能60D拍摄的图。注意看佳能60D那列：它的参考模式P*出现了意外的3×3周期，而常见的Bayer CFA是2×2周期。论文并没有预设周期大小，算法照样把篡改区域定位出来了，这种灵活性正是零样本设计的价值所在。
图4：本文流水线在RTD数据集两个代表性样本上的执行结果。每列从左到右依次为：输入图像、噪声残差W、估计参考模式P*（绿色通道）、块相关图F、软篡改概率图T、二值定位掩码S以及真值标注。
图4：本文流水线在RTD数据集两个代表性样本上的执行结果。每列从左到右依次为：输入图像、噪声残差W、估计参考模式P*（绿色通道）、块相关图F、软篡改概率图T、二值定位掩码S以及真值标注。
块大小B的选择也是个关键超参数。论文系统测试了B∈{4,8,12,16,24}五种取值。结果显示，尼康D7000、尼康D90和索尼A57三台相机对块大小不太敏感，AUC-ROC稳定在0.85以上；但佳能60D是个明显的离群点，MCC在-0.09到0.30之间大幅波动。这说明佳能60D的定制化去马赛克实现，导致其CFA伪迹周期没法用固定块大小稳定捕捉。整体上B=12左右的中间值表现最好，块太小相关估计不可靠，块太大又容易跨越真实/篡改边界，牺牲空间分辨率。
图5：块大小B对RTD数据集各相机型号像素级定位性能的影响。虚线表示所有设备的逐指标平均。
图5：块大小B对RTD数据集各相机型号像素级定位性能的影响。虚线表示所有设备的逐指标平均。
最终对比实验选择了Ferrara、Gonzalez和Park三篇代表性被动取证方法，结果如下表所示。
表2：与盲图像篡改定位方法的对比结果。所有指标在全部数据集上取平均，每个指标的最佳结果用粗体标出。
表2：与盲图像篡改定位方法的对比结果。所有指标在全部数据集上取平均，每个指标的最佳结果用粗体标出。
本文在精确率（0.825）、AUC（0.839）、IoU（0.725）和MCC（0.483）四项指标上都拿到了最优，说明软概率图的排序能力和最终定位精度都相当能打。AUC相比第二名Gonzalez的0.781有明确提升，这是一个比较有说服力的优势。
不过也必须看到短板：本文的召回率只有0.526，明显低于Park方法的0.739，F1分数（0.597）也不如Park（0.697）。这说明本文走的是“宁缺毋滥”的保守路线，定位结果更干净，但漏检率偏高。Park方法Recall和F1高，但精确率掉到0.689、IoU只有0.155，明显存在过度分割的倾向，把大量真实区域也框进了篡改范围。两类方法其实是在“查得准”和“查得全”之间做了不同取舍。
结合PaperDaily已收录论文的辅助判断：当前论文库中关于RTD基准的收录还不完整，暂时缺乏足够的同基准数值做横向比对，因此本文的指标优势应理解为“论文自身报告的有竞争力结果”，不宜直接外推成全领域绝对领先。后续如果更多RTD对比数据入库，再下更重的结论也不迟。
mmexport1760710364748

局限与展望：AI生成内容的取证之路

这套零样本流水线虽然设计精巧，但局限性也很明显。最突出的问题是设备适配性：佳能60D的实验结果波动极大，说明某些厂商定制化的去马赛克算法会产生非标准CFA伪迹，固定候选块大小B的机制应付不来。论文也承认，未来需要引入自适应的块大小选择策略，比如直接用DCT能量判据做数据驱动的周期搜索，而不是在固定集合里挑。
更严峻的挑战来自AI生成内容。传统的拼接、复制-移动篡改会直接破坏CFA插值痕迹，但扩散模型生成的图像区域自带一套“自洽”的噪声结构。这套噪声和相机原生噪声混在一起，CFA插值一致性反而不容易被打破。换句话说，你拿着检测传统P图的工具去查AI生成的图，很可能会扑空。论文给出的方向是引入互补性取证信号，比如频域不一致性、语义边界伪迹，或者训练能区分“相机原生噪声”和“生成模型噪声”的判别器。这条路，显然比改良块大小要难得多。

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：
这篇论文到底在解决什么问题？现有图像篡改定位常依赖训练数据或设备指纹库，本文提出零样本免训练取证方案，从单张可疑图像噪声残差中估计参考伪迹模式，结合块级相关分析和混合高斯模型评分，在RTD数据集上精度0.825、AUC 0.839、IoU 0.725，多项指
这篇工作最值得看的点是什么？该方法在RTD数据集上取得了最高的精确率(0.825)、AUC(0.839)、IoU(0.725)和MCC(0.483)，但召回率(0.526)和F1(0.597)低于Park方法。消融实验系统评估了块大小和去噪器选择的影响。
这篇工作的边界或风险在哪里？优点：(1) 真正的零样本方法，无需训练数据、参考图像或设备指纹库；(2) 利用全彩色通道信息而非仅绿色通道；(3) 自适应去噪器选择和伪影模式估计，适应不同设备特性；(4) 在多个指标上达到最优性能。缺点：(1) 召回率较低，可能漏检部分篡改区域；(2) 对某些设备（如Canon 60D）性能不稳定；(3) 块大小需要人工设定，缺乏自适应机制；(4) 对AI生成内容的篡改检测能力有限。
如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★★☆

零样本思路在取证领域不算全新，但把“单图自估计参考模式+全彩色残差+DCT选模式+无监督GMM打分”整合成完整流水线的组合方式确实有新意。

实验合理度：★★★☆☆

消融实验覆盖了去噪器选择和块大小两个关键维度，设计扎实；但对比方法数量偏少且较旧，缺少同期深度伪造定位方法的横向比较。

学术研究价值：★★★★☆

为盲取证场景提供了一个简洁、可复现、无需训练的强基线，对后续无训练/无参考取证研究有不错的参考意义。

稳定性：★★★☆☆

尼康和索尼设备上表现稳定，但佳能60D上指标大幅波动，说明对部分定制化去马赛克算法的适配性不足。

适应性以及泛化能力：★★★☆☆

仅在RTD单数据集上验证，CASIA、Columbia、IMD2020等多基准测试还在进行中；对AI生成内容基本无效，泛化边界清晰。

硬件需求及成本：★★★★★

单张图像、传统去噪+GMM，CPU即可离线运行，几乎没有算力门槛，更不需要GPU训练。

复现难度：★★★★☆

流程清晰，依赖skimage等常见库；代码未开源，但按论文描述复现门槛不高。

产品化成熟度：★★★☆☆

可用于图像真伪初筛和司法取证的前置辅助，但必须人工复核；设备适配和AI篡改两大短板限制了全自动产品化。

可能的问题：结论建立在单一RTD数据集上，对比方法时效性不足；佳能60D这类不稳定设备仍计入平均，可能小幅拉低整体指标；与同期深度伪造检测方法缺乏对比，当前优势需谨慎解读。


主要参考文献

[1] Bovik A.C. The Essential Guide to Image Processing. Academic Press, 2009.
[3] Chambolle A. An algorithm for total variation minimization and applications. Journal of Mathematical Imaging and Vision, 2004.
[4] Chen M., Fridrich J., Goljan M., Lukas J. Determining image origin and integrity using sensor noise. IEEE Transactions on Information Forensics and Security, 2008.
[9] Donoho D.L., Johnstone I.M. Ideal spatial adaptation by wavelet shrinkage. Biometrika, 1994.
[14] González Fernández E., Sandoval Orozco A.L., García Villalba L.J. A multi-channel approach for detecting tampering in colour filter images. Expert Systems with Applications, 2023.
论文原文：https://arxiv.org/pdf/2608.20558v1.pdf

融会贯通

把这篇论文放进PaperDaily已收录的取证类工作里横向看，能观察到一种有趣的“方法论分工”：一部分工作靠大规模训练数据学习篡改痕迹的高层语义，定位更敏捷但依赖标注；本文则走纯统计信号路线，去噪器加GMM就把活干了，完全不依赖训练数据。两者面对的真实场景并不相同——前者适合有充足算力和数据的内容平台，后者适合司法鉴定、新闻核验这类“只有一张图、什么都不知道”的极端场景。将来如果把零样本粗筛和深度模型精修串联成两级流水线，或许是内容安全领域一个很务实的落地路径。当然，这条判断是基于PaperDaily当前收录论文的观察，RTD基准上的完整横向对比还需要更多同基准数据入库后才能下更实的结论。

*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～ 想了解更多原文细节的小伙伴，可以点击"阅读原文"，查看更多原论文细节哦！       

end
一张照片里藏着整个成像设备的“基因密码”，零样本就能揪出篡改痕迹，这波操作有没有让你心动？想第一时间获取更多图像取证、多媒体安全的前沿解读，欢迎加入龙哥读论文粉丝群，扫描下方二维码或者添加龙哥助手微信号加群：kangjinlonghelper。一定要备注：研究方向+地点+学校/公司+昵称（如 图像处理+上海+清华+龙哥），根据格式备注，可更快被通过且邀请进群。
『龙哥读论文』微信群目前包含：图像处理、大模型及智能体、自动驾驶及机器人、AI医疗及AI金融5个群，图像处理群的伙伴们已经在热烈讨论这篇零样本取证的新思路啦～
wechat_helper dianzan

转发文章 微博 X LinkedIn Facebook
龙哥读论文 · PaperDaily

本文基于龙哥读论文 PaperDaily 数据库整理，结合论文原文与工程视角进行解读。