仅用前向推理，SDS把8个扩散模型分清了

这篇论文不盯生成结果，专门盯去噪器“怎么去噪”。结果很狠：只靠前向推理，就能把八个扩散模型的“出身”分得明明白白，连共享同一类自编码器的近亲版本也不太好糊弄。

龙哥读论文发布于 2026-08-14 09:10:53 阅读 3 查看原文

#图像生成 #模型架构

🐉 龙哥读论文知识星球来了！
公众号每日8篇拆解不够看？星球无上限更AI领域论文、资讯、招聘、招博、开源代码，一站式干货，每日2分钟刷完即赚！
👇扫码加入「龙哥读论文」知识星球，前沿干货、实用资源一站式拿捏～ xingqiu_header

龙哥导读：
这篇论文不盯生成结果，专门盯去噪器“怎么去噪”。结果很狠：只靠前向推理，就能把八个扩散模型的“出身”分得明明白白，连共享同一类自编码器的近亲版本也不太好糊弄。

原论文信息如下：

论文标题:
Diffusion Model Attribution via Spectral Coupling of Denoiser Responses 发表日期:
2026年06月发表单位:
University of Illinois Urbana-Champaign 原文链接:
https://arxiv.org/pdf/2606.28092v1.pdf 项目链接:
https://github.com/Pragati-Meshram/SGS

拷问AI图像的“出身”：从像素到频谱的探针

扩散模型现在最麻烦的问题之一，不是“能不能生成”，而是“这张图到底是谁生成的”。图像一旦被转发、裁剪、压缩、再加工，单靠肉眼几乎没法追踪来源。更尴尬的是，很多扩散模型在训练后会收敛到非常相似的输出分布，尤其是共享同类自编码器时，生成结果看起来像“同一个师傅带出来的徒弟”，靠像素和频谱去认亲，常常认错门。

这篇论文的切入点很直接：别再盯生成图了，去盯去噪器怎么“想事情”。因为扩散模型真正的“脑回路”不在最终图像，而在去噪过程中学到的 score function（得分函数），也就是模型在每个噪声层级上如何把噪声往干净图像拉回去。作者认为，模型身份不是藏在输出里，而是藏在去噪器处理不同频率扰动时的“谱系习惯”里。

图1：SDS整体流程图。上半部分是原型构建：参考图像先经过共享的 VAE 编码到潜空间，再在不同频率环上注入带限噪声，只跑一次去噪器前向推理，就能统计能量在各频带之间怎么流动，形成频谱耦合矩阵。下半部分是源模型识别：未知图像按同样方式提取签名，再和各候选模型的原型比对，找最近的那个“出身”。

这个思路听起来像“给模型做指纹”，但它和传统指纹不太一样。传统图像指纹大多盯输出图的纹理、噪声或重建误差，问题是这些信号很容易被共享组件抹平。SDS 直接去问去噪器：某个频带被轻轻拨一下，你会把能量往哪里挪？这就像不看一个人最后签了什么字，而是看他握笔时的手势、发力方式和习惯动作，细节更难伪装。

模型“指纹”藏身何处？实验揭秘去噪器才是关键

论文先做了一件很“较真”的事：不急着提方法，先追问模型身份到底藏在哪里。作者拿 SD v1.4 和 SD v1.5 这对“近亲”开刀，它们共享几乎全部权重、同样的 UNet-860M 骨干、同样的编码器和 KL-f8 VAE。也就是说，如果连这俩都能分开，才算真本事；如果分不开，后面大概率就是纸糊的。

作者对比了三类信号：像素空间统计、FFT 频谱特征，以及去噪器响应构成的频谱耦合签名。结果很干脆：前两类几乎没戏，后者才是真正能分人的那一类。原因不复杂——像素和普通频谱看的是最终成品，而 SD v1.4 和 v1.5 共享同一个 VAE，输出层面的统计差异本来就被压得很小；去噪器响应则不同，它直接暴露了模型如何把不同频率的扰动“搬运”到别处。

图2：频谱耦合签名与图像特征的可分性对比。左边那些像素和 FFT 特征，分数分布几乎完全重叠，说明靠输出空间真的没什么线性信号可挖。右边的频谱耦合签名就不一样了，哪怕只用单个时间步，两个模型的分布也能明显拉开；多步之后，分离更清楚。这个结果说明，模型身份不是“图像长什么样”，而是“去噪时怎么动手”。

更关键的是，作者还发现这种区分不是靠某个局部小技巧，而是靠全局均值偏移。简单说，不是样本之间挤成一团靠近邻分类器硬认，而是不同模型在签名空间里的中心点本来就拉开了。于是线性分类器就够用了，没必要上复杂花活。这点很重要，因为很多方法看着很玄学，实际上只是把问题搞得更复杂，最后还得靠大模型救场；SDS 至少在这一步上相当朴素：信号够强，线性分类器就能干活。

SDS方法揭秘：如何给每个扩散模型打上专属频谱标签？

SDS，英文全称是 Spectral Denoising Signatures，中文可以理解为“频谱去噪签名”。它的核心不是生成，而是“探测”。先把图像编码进共享 VAE 的潜空间，再把频率平面切成 K 个同心环，像给声音做均衡器一样，分别往每个频带里塞一点噪声，观察去噪器如何把这些扰动重新分配到输出频带中。

这里的“频谱耦合”是方法的灵魂。可以把它理解成一个 K×K 的矩阵：如果在第 k 个频带注入扰动，去噪器最后把能量送到了哪些输出频带。这个矩阵不是随便拍脑袋统计，而是通过多次随机噪声重复估计出来的；每一行再做归一化，去掉图像亮度、内容强弱这些容易干扰判断的因素，只保留模型自己的“处理习惯”。

图4：t-SNE 可视化展示了 SDS 签名在分类前后的结构变化。分类前，8 个模型里已经有一部分天然聚成了簇，说明签名空间本身就有很强的结构；最难分的还是 SD v1.4 和 SD v1.5，以及 Dreamshaper-8 和 Realistic Vision v5。经过线性投影后，所有簇都分开了，说明线性分类器并不是“硬背答案”，而是在利用真实存在的全局几何差异。

方法流程可以拆成四步，逻辑其实很顺：先分频，再扰动，再统计，最后识别。分频是为了知道“在哪个频段问问题”；扰动是为了让去噪器暴露反应；统计是为了把随机性压下去；识别则是把每个模型的平均签名当成原型，直接找最近的那个。论文里还提供了训练自由的版本：如果不想训练分类器，直接拿原型做最近邻匹配也能用，只是精度会低一些。对于工程系统来说，这个设计很实在——不会动模型参数，不需要反向优化，也不需要在生成阶段做额外登记，前向跑一遍就够了。

如果把它翻译成人话，那就是：SDS 不问“你生成了什么”，而问“你处理噪声时暴露了什么习惯”。这个问题更接近模型内部机制，也更难被简单后处理抹掉。

表1：不同提示词分布下的 Top-1 准确率。原型来自 SD-Prompts，直接拿去测 MS-COCO，不重新训练。这里最值得盯的是“掉点”而不是绝对值：训练自由的原型匹配几乎不受分布变化影响，而线性分类器虽然会掉一些，但依然能保持很高的准确率，说明签名确实带着模型本身的信息，而不是只记住了某一批提示词。

跨越架构与数据的“追凶”：SDS的全面性能评估

这篇论文真正让人服气的地方，不只是“能分”，而是“分得很全”。作者把 8 个扩散模型放进同一个闭集溯源任务里，覆盖了三种变化维度：训练数据不同、架构不同、训练流程不同。里面既有 SD v1.4、SD v1.5 这种共享骨干的近亲，也有 SDXL、PixArt-α 这种架构完全不一样的模型，还有 SDXL-Turbo 这种训练方式都变了的版本。换句话说，这不是在温室里做分类，而是在一锅杂烩里找每个模型的身份证。

实验设置也比较讲武德：原型只用每个模型 50 张图构建，测试集每个模型 500 张图，还专门做了跨提示词分布和多种图像扰动测试。也就是说，方法不是靠“喂很多数据”堆出来的，而是靠签名本身的稳定性撑起来的。对于真实落地，这种设定很重要，因为溯源系统最怕的就是一换数据就失灵。

图3：8 个扩散模型的混淆矩阵结果。整体上，SDXL、PixArt-α、SDXL-Turbo 以及 SD v2.1、Dreamshaper-8、Realistic Vision v5 都几乎可以稳定识别；真正难的是 SD v1.4 和 SD v1.5 这对“近亲”。线性分类器几乎把这对最难样本也分干净了，说明 SDS 在最刁钻的共享骨干场景下也没有崩。

跨域测试更能看出方法底子硬不硬。作者用 SD-Prompts 构建原型，再直接拿 MS-COCO 生成图测试，不更新原型、不重新训练。结果是：原型匹配几乎不掉，线性分类器也只掉了几个点。这个现象说明，SDS 学到的不是某一批提示词的表面偏差，而是去噪器更深层的频谱几何特征。模型换了提示词，签名还能认得出来，这就像一个人换了衣服，走路姿势还是那个味儿。

表2：强图像扰动下的鲁棒性结果。旋转、JPEG 压缩、裁剪、亮度变化、加噪和模糊都测了。一个很有意思的点是，像模糊和噪声这种会严重破坏像素细节的操作，并没有把 SDS 打趴下，反而在分类器版本里仍然维持了很高的准确率。原因也不神秘：这些扰动会让单个样本距离变得更乱，但不会轻易抹掉模型原型的中心结构。

基线对比则把问题彻底说透了。RONAN 和 LATENTTRACER 这类方法依赖解码器重建误差，遇到共享 VAE 的模型就很难受，因为它们看到的重建损失差不多，等于“谁都像谁”。SDS 则绕开了解码器，直接看去噪器，因此在共享 VAE 的五个模型上依然保持接近满分。这个结果不是小修小补，而是路线层面的差异：一个盯输出，一个盯内部去噪，前者在近亲模型前容易失明，后者才真正摸到了模型身份的筋骨。

表3：与非侵入式基线方法的对比。可以看到，RONAN 和 LATENTTRACER 在共享自编码器的模型上几乎集体失灵，整体准确率被压到接近随机水平；SDS 则在 8 个模型上都能稳定工作，整体 Top-1 准确率接近 100%。这组结果基本把论文的主张钉死了：要想做扩散模型溯源，去噪器比解码器更像“身份证本体”。

项目里还给出了一张 5 步轨迹的混淆矩阵图，配合 t-SNE 可视化，整体观感很直白：模型之间的簇分得很开，难点主要集中在最相似的那几对。对于读者来说，这比单纯看数字更有说服力，因为它能直观看到“哪里容易认错”。

立足当下，展望未来：SDS的局限与潜力

先说优点：这篇工作最大的价值，是把“模型溯源”从输出空间拉回到了去噪函数本身。这个转向很有研究味道，也很工程味道。研究上，它解释了为什么近亲扩散模型之间仍然存在可分的身份信号；工程上，它给出了一条不需要改模型、不需要反向优化、只靠前向查询就能工作的路线。对于版权验证、模型监管、生成内容溯源，这条路都挺实用。

但局限也要说清楚。第一，这是闭集任务，候选模型是预先给定的；现实里如果遇到“库里没有的模型”，还得再设计开放集识别。第二，论文默认白盒访问候选模型的去噪器，能查 forward pass，这在真实平台里未必总能拿到。第三，虽然方法对常见图像扰动很稳，但如果遇到更激进的后处理、蒸馏伪装、结构改写，签名是否还能保持同样的可分性，还需要更多验证。第四，原型构建要用一定数量的参考图，虽然不算大，但在超大规模模型库里，成本仍然不是零。

这类方法未来最值得期待的方向，不是简单把准确率再抬高一点，而是把它做成更完整的“模型身份学”：开放集识别、跨版本追踪、与水印或内容指纹的联合验证，甚至和模型市场、模型审计结合起来。毕竟，扩散模型越来越像基础设施，基础设施一旦普及，谁生产的、谁改的、谁转的，就不能只靠嘴说了，得有证据链。

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：

这篇论文到底在解决什么问题？它要解决的是扩散模型生成图像的“源头追踪”问题：给定一张图，判断它来自哪个模型。难点在于很多模型输出很像，甚至共享同类自编码器，所以只能盯图像本身时，信号会非常弱。SDS 选择直接分析去噪器的频谱响应，从内部找模型身份。

“频谱耦合签名”是什么意思？就是把频率空间切成很多环，给某个环注入噪声，再看去噪器把能量分配到哪些输出频带。这个“输入频带到输出频带”的映射模式，就是模型的签名。它不是一张图，而是一串统计出来的频谱行为特征。

为什么线性分类器就够用了？因为实验显示不同模型在签名空间里的差异主要表现为全局均值偏移，而不是复杂的局部缠绕。换句话说，模型之间不是“搅成一锅粥”，而是“中心点拉开了”。所以一个线性边界就能把大部分模型分开，没必要上特别复杂的分类器。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★★☆

不是把旧方法换个壳，而是把溯源对象从输出图转到去噪器的频谱几何，这个切口挺准，也挺新。

实验合理度：★★★★★

闭集、跨域、扰动、基线对比都做了，而且专挑共享 VAE 这种最难场景，实验设计是有针对性的，不是随便挑软柿子捏。

学术研究价值：★★★★☆

它不只是在做分类，更是在回答“模型身份到底藏在哪”这个问题，对扩散模型可解释性和溯源研究都有启发。

稳定性：★★★★☆

对常见图像扰动和跨提示词分布都挺稳，但仍是白盒闭集设定，离“拿来就能管所有场景”还有距离。

适应性以及泛化能力：★★★★☆

跨数据分布表现不错，跨架构也能分，但开放集和未知模型还没覆盖，泛化边界需要后续补齐。

硬件需求及成本：★★★☆☆

不需要训练大模型，但要对多个候选模型做前向探测和原型构建，候选库越大，查询成本越高。

复现难度：★★★★☆

代码已开源，流程也比较清楚，主要难点在于准备好相同的候选模型和生成数据，而不是算法本身多神秘。

产品化成熟度：★★★☆☆

适合做模型审计、版权验证和内部溯源工具，但要上生产，开放集识别、权限访问和大规模模型库检索还得补课。

可能的问题：方法很强，但仍是闭集白盒设定；一旦候选库外溢、模型被进一步伪装或只给黑盒接口，效果未必还能这么稳。

主要参考文献

Pragati Shuddhodhan Meshram, Varun Chandrasekaran. Diffusion Model Attribution via Spectral Coupling of Denoiser Responses. arXiv:2606.28092v1, 2026.

项目代码：https://github.com/Pragati-Meshram/SGS

论文原文：https://arxiv.org/pdf/2606.28092v1.pdf

*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～想了解更多原文细节的小伙伴，可以点击"阅读原文"，查看更多原论文细节哦！