南开大学真实图像超分：双输入让一步扩散兼顾细节与感知质量

龙哥导读

手机夜景、老照片、监控截图和社交平台二次压缩图，放大以后最难处理的不是“像素少”，而是模型不知道哪些模糊来自真实纹理，哪些只是噪声和压缩伤痕。南开大学参与的DNF-SR没有让扩散模型慢慢跑很多步，而是把原图线索与可生成细节的噪声线索同时送进图像编辑模型，再从同一输入的多次随机结果里学习什么该靠近、什么该远离。它的价值不在于把所有指标一起推到最高，而在于把一步速度、内容忠实度和感知质量放进同一个可调框架。

把一张模糊照片放大四倍，软件很容易补出更多像素。真正困难的是：新像素到底应该是什么？树叶可以被补成细碎纹理，文字却不能凭空改成另一个单词；猫毛可以更清晰，猫眼的位置不能为了“好看”而移动。真实图像超分辨率处理的，就是这种既要补细节、又不能乱编内容的矛盾。

这篇论文选择了一条很有代表性的路线：借用大型扩散模型已经学到的自然图像先验，但把漫长的多步去噪压缩成一步。速度上去了，新的冲突也来了。如果一步模型太相信低清输入，它只会得到稳妥却发糊的结果；如果太相信生成先验，画面会更锐利，却可能把真实内容改掉。

一、真实图像超分为什么比“插值放大”难得多

理想实验常从一张高清图出发，按照已知规则缩小，再让模型恢复。此时退化过程相对干净，模型知道自己面对的是哪一种模糊。真实照片却可能同时经历失焦、运动抖动、感光噪声、镜头锐化、社交平台压缩、截图和重复缩放。不同伤痕叠在一起，同一个模糊斑块可能对应皮肤、草叶、文字边缘，也可能只是压缩块。

峰值信噪比（PSNR）偏爱像素与参考图尽量接近。它很适合检查“有没有忠实还原”，却不总能代表人眼觉得是否自然。生成式模型常把毛发、树叶和砖墙做得更有质感，感知质量分数会变好，但每个像素未必更贴近参考答案。反过来，逐像素平均得到的图可能峰值信噪比更高，视觉上却像蒙了一层薄雾。

二、三种一步架构：控制分支、直接输入与双输入

Figure 1把近年的一步扩散超分架构压缩成三种。第一种从纯噪声开始，让文本生成模型负责一步出图，再通过额外控制分支注入低分辨率图像。它保留了生成模型熟悉的噪声起点，但多出一套条件网络，训练和部署都更重。

第二种最直接：把低分辨率潜变量当作扩散模型输入，微调模型后一步输出高分辨率结果。它结构简洁，也天然保留输入内容，可问题是预训练扩散模型原本习惯在噪声分布上工作，突然换成低清图潜变量，相当于让一个熟悉“从雾里作画”的人直接在旧照片上改稿，输入分布发生了明显变化。

第三种就是DNF-SR：先把一份低清潜变量与噪声混合，让它更接近扩散过程的中间状态；同时保留另一份未经加噪的低清潜变量，作为内容条件送进图像编辑模型。一条路负责给模型留下“可生成细节”的空间，另一条路负责提醒模型“原图到底画了什么”。

图1：上方通过额外控制分支把低清图注入文本生成模型；中间直接把低清潜变量送进扩散模型；下方的DNF-SR同时使用加噪低清输入与原始低清条件，并在多次随机输出之间建立正负优化方向。来源：论文Figure 1。

三、为什么必须同时保留“原始LR”和“加噪LR”

论文从频率角度解释这个设计。扩散模型的时间步越靠近噪声端，输入里的高频随机成分越多；越靠近自然图像端，整体内容越稳定。低清图本身缺少高频细节，因此它其实更像靠近自然图像端的潜变量，而不是任意一个带大量噪声的中间状态。

但若把时间步设为零，模型的速度预测项几乎没有发挥空间，无法通过一步更新补出高频信息。于是团队选择中间时间步：原始低清潜变量与随机噪声按固定比例混合，得到混合潜变量。它给生成模型一个熟悉的工作位置，也留下补纹理的余地。

单独用混合潜变量仍不够，因为加噪会破坏输入内容，尤其是文字、细线、眼睛和小物体。DNF-SR把未经加噪的原始潜变量也送进去，让图像编辑骨干像看参考图一样读取它。模型最终同时看到文本说明、带噪待修图和原始低清条件，再只取带噪分支对应的输出位置预测一步更新方向。

这也解释了为什么论文不用普通文本生成模型，而选用Flux-Kontext图像编辑模型。文本生成模型擅长“根据一句话画一张图”；图像编辑模型从预训练阶段就学过“参考一张输入图，在保留内容的前提下修改”。超分本质上更接近编辑：不是自由创作新场景，而是在原场景上补回可信细节。

四、Figure 2：从双输入到一步高清图，整条链怎样走

Figure 2左半部分是第一阶段。文本说明先经过冻结的文本编码器；随机噪声和低清图潜变量混合后被切成令牌；另一份原始低清图也经过可训练的编码器，再被切成令牌。三类令牌一起进入Flux-Kontext的多模态扩散变换器模块，模型只通过低秩适配微调（LoRA）更新少量参数，基础权重保持冻结。

图2：左侧展示文本、加噪低清潜变量和原始低清潜变量如何拼接进入Flux-Kontext，并由固定解码器得到结果；右侧先用多组噪声采样得到多个候选，再由有参考与无参考质量指标汇总奖励，形成正向和负向训练方向。来源：论文Figure 2。

图中的橙色火焰表示可训练部分，雪花表示冻结部分。可训练区域集中在图像编码器和扩散变换器的低秩适配参数，图像解码器保持固定。这样做的意义是尽量保住大模型已有的图像知识，同时降低全量训练的成本和破坏预训练能力的风险。

模型预测的不是最终像素，而是中间潜变量应该沿哪个方向移动。把这个速度乘以中间时间步，再从zMix里减掉，就得到估计的高清潜变量，最后交给固定解码器还原成图像。因为只有一次速度预测，所以推理仍是一步；文本和原图条件不是额外多跑若干轮，而是在这一次前向中共同参与。

右半部分是第二阶段。相同低清输入搭配多组不同随机噪声，会生成多个版本。质量评价模块给每个版本打分，红色代表更值得靠近，蓝色代表更应该远离。后训练模型不再只模仿唯一高清答案，而是利用“一次偶然生成得好、另一次生成得差”的差异，学习更可靠的方向。

五、第一阶段训练损失：像素、特征与对抗三条线

监督微调阶段不是只看一项损失。第一项是潜变量对齐损失：低清图经过可训练编码器后，得到的潜变量要尽量接近高清图的潜变量。它相当于先把编码器校准，让输入端别在进入生成骨干之前就丢掉太多可恢复信息。

第二项是重建损失。论文同时比较输出图与高清真值的像素差，以及深层视觉特征差。像素部分约束整体颜色和结构，特征部分更关注纹理、轮廓和人眼感知。第三项是生成对抗损失，使用DINOv3视觉特征构建判别信号，鼓励结果更像自然高清照片，而不是安全地平均成一团。

三者合起来，各管一层：潜变量对齐守住编码入口，重建损失守住内容，生成对抗损失推动自然纹理。只使用像素误差容易糊，只使用对抗信号又容易“脑补”。这里的关键不是损失越多越好，而是每一项都对应真实超分中的一个冲突：能不能编码、像不像原图、看起来像不像自然图。

训练数据包括DIV2K、DIV8K和Flickr2K。

团队还加入NKUSR8K与一万张人脸图，低清—高清配对由Real-ESRGAN退化流程在线合成。

监督阶段使用8张H20显卡训练5000步，批量大小为1，学习率为2×10⁻⁵；两个阶段的低秩适配秩均为64。这些数字说明它不是在消费级单卡上随手微调的小实验。

六、负样本感知特征微调：让随机性自己提供“好与坏”

扩散模型即使输入同一张图，也会因随机噪声不同而生成略有差异的结果。有的版本文字更准，有的毛发更自然，也有的会出现网格、错字或虚假纹理。传统监督训练往往把这些随机结果都朝同一个高清真值拉，没充分利用它们之间已经出现的质量排序。

DNF-SR每个优化步骤采样8组噪声，生成8个候选。然后用两类指标评分：有参考指标拿结果与高清真值比较，包括学习感知图像块相似度指标（LPIPS）和深层图像结构纹理相似度指标（DISTS）；无参考指标不需要真值，直接判断结果是否清晰自然，包括图文语义图像质量、多人群感知质量和多维注意力图像质量三类指标。

不同指标量纲不一样，不能直接相加。论文先在同一组8个结果内部，把每项原始分数做标准化，再通过标准高斯累积分布映射到0到1附近，最后对多个指标取平均，得到综合奖励r。分数高的样本提供正向指引，分数低的样本提供负向指引。

正向目标让当前模型靠近高奖励结果，负向目标让它远离低奖励结果。这里不是简单把最差图删除，而是给低质量结果更大的“反方向”作用。多次随机采样因此不再只是推理时的不确定性，也成了训练数据：同一输入下，模型自己暴露了哪些方向更好、哪些方向更坏。

七、为什么还要同时在图像空间和特征空间优化

团队起初直接在扩散模型的速度空间做正负优化，结果出现明显网格伪影。原因不难理解：速度潜变量的数值方向与最终人眼看到的纹理并不是一一对应，小小的潜变量偏移，经过解码器后可能被放大成规则格子。

为此，论文把正向速度、负向速度和目标速度都经过固定解码器，先变成可见图像，再复用第一阶段的重建损失计算方向。这样既在像素空间检查颜色与结构，又在视觉特征空间检查纹理和感知相似性。论文把这一步称为负样本感知特征微调。

它真正解决的是“往哪优化”与“优化后看起来怎样”之间的错位。速度空间负责定义模型参数的运动方向，图像和特征空间负责判断这个方向落到可见结果上是不是好。后者相当于把训练的尺子从内部张量搬回读者真正会看到的照片。

图3：左上是双三次插值输入，左下是高清真值；只做监督微调的版本仍偏软，去掉负样本感知后细节不足，只用传统负样本微调会出现网格；去掉有参考奖励后更锐却容易偏离，完整DNF-SR在旗帜边缘与树叶纹理之间取得更稳妥的折中。来源：论文Figure 5。

八、实验结果：感知分数领先，但PSNR并没有一起上升

论文在RealSR、DRealSR和DIV2K验证集上测试。

第四个测试集是没有高清参考的RealLQ250。

多步对照包括DiffBIR、SeeSR和DiT4SR。

一步对照的第一组包括S3Diff、PisaSR和SinSR。

第二组包括OSEDiff、TSDSR和HYPIR。

论文还比较了一步方法OMGSR。

评价同时覆盖峰值信噪比、学习感知相似度和五种无参考质量指标。

在RealSR上，仅监督微调版本的峰值信噪比是25.628，加入负样本感知后降到24.970；学习感知相似度也从0.2925变为0.3239，按这个指标看是退步。但无参考的图文语义质量从0.6903升到0.7257，多人群感知质量从70.672升到72.040，对齐质量从3.9162升到4.0718，视觉问答式质量从4.1310升到4.2646。

DRealSR和DIV2K也出现相似趋势：完整模型的峰值信噪比并非最高，有些有参考指标低于监督版本，但多个无参考感知指标继续上升。在没有高清真值的RealLQ250上，完整模型的图文语义质量达到0.7997，多人群感知质量达到73.700，对齐质量达到4.4752，均高于表中其他比较方法。

这组数据必须完整地读。不能只说“全面领先”，因为它领先的是论文报告的全部无参考指标，不是每一个有参考指标。也不能据此说峰值信噪比没用：在医疗、测量、取证和文字恢复里，像素忠实度依然关键。DNF-SR展示的是明确的选择：后训练把模型推向更锐利、更自然的感知端，同时接受一部分与参考像素不完全一致的代价。

图4：三组样例依次观察手机标识、狗爪与毛发、停车场植被。图中DNF-SR的诺基亚英文标识更接近合理字形，狗爪轮廓与草木纹理更清楚；这些局部例子支持感知质量改善，但不代表每张真实照片都能恢复唯一正确细节。来源：论文Figure 3。

九、消融实验：双输入、编辑骨干和中间时间步各自做了什么

模型结构消融先比较单输入与双输入。只给加噪低清潜变量时，RealSR上的学习感知相似度为0.3349；只给原始低清潜变量时为0.3040；两者一起送入文本生成骨干时进一步到0.2995。换成Flux-Kontext图像编辑骨干后，完整双输入版本达到0.2925，说明原图条件确实更适合由编辑模型接收。

论文还比较了不同时间步。若从纯噪声端一步生成，学习感知相似度为0.3025；中间时间步0.25、0.5和0.75分别为0.2945、0.2925和0.2960。0.5不是所有单项指标的绝对最佳，但在忠实与自然之间较均衡，因此被选作固定中点。

图5：模型结构消融从输入形式、预训练骨干和中间时间步等设置比较恢复结果。观察重点不是单纯哪张更锐，而是文字、边缘和细纹理是否在增强后仍保持原内容。来源：论文Figure 4。

后训练消融更能说明有参考奖励的作用。只用无参考奖励时，多人群感知质量为71.0911，对齐质量为3.9979；加入有参考奖励后，分别升到72.0396和4.0718，同时学习感知相似度从0.3255改善到0.3239。它没有把模型拉回最保守的像素端，却减少了感知优化过度偏离原图的风险。

传统负样本微调虽然也能提高部分感知分数，却把多维注意力质量从0.6903降到0.6413，并在图中产生网格。完整方法把正负方向搬到图像与特征空间后，多维注意力质量达到0.6930。消融因此支持两件事：负样本有价值，但必须用与最终视觉结果一致的尺子来利用。

十、文字说明敏感性：提示词能帮忙，也可能把模型带偏

DNF-SR并不是纯图像模型。训练时，高清图由Qwen3-VL 8B生成文字说明；推理时，低清图也先生成说明，再与图像一起进入模型。文字能提供“这是一台带标识的翻盖手机”“这是一只狗”等高层语义，帮助扩散先验在模糊区域选择更合理的细节。

但提示词也可能错。Figure 6故意把“Nokia”改成“Nckia”，并比较无文字、合理文字和错误文字三种情况。多步方法DiT4SR在合理文字下能修出标识，却在手机侧面出现额外结构；错误文字还会影响局部字形。DNF-SR在三种设置下整体结构更稳定，但标识也并非完全不受文字影响。

图6：第一行不提供文字；第二行给出包含“Nokia”的合理说明；第三行把品牌词故意写成“Nckia”。左列DiT4SR在红箭头位置出现结构变化，右列DNF-SR相对稳定，但两者的标识细节都会受到语义条件影响。来源：论文Figure 6。

工程上这意味着提示词不是免费的附加信息。若自动图像说明把药品名、车牌、设备型号或人脸属性识别错，超分模型可能把错误语义“画得更清楚”。安全做法是保留无文字或弱文字模式，对关键文字区域单独检测，并让用户查看原图与结果的并排差异，而不是只展示更锐的一张。

十一、与SeeSR、Real-ESRGAN和Fill2SR是什么关系

SeeSR代表多步扩散真实超分的一条重要路线：先从低清图提取退化感知的语义提示，再让预训练生成模型在多步去噪中恢复。它强调语义条件能帮助复杂退化，但多步推理更慢。DNF-SR同样利用文字语义，却把重点放在一步结构：原始与加噪低清双输入负责平衡内容和生成先验，负样本感知后训练负责继续推高感知质量。

Real-ESRGAN代表生成对抗网络路线。它用复杂合成退化训练模型，在真实照片上具有很强实用性，推理链也相对直接。

论文附录显示，DNF-SR在DIV2K和DRealSR的多个无参考指标上明显更高。

没有高清参考的RealLQ250也延续这一趋势。

但Real-ESRGAN在若干有参考指标上更好。例如RealSR的峰值信噪比，Real-ESRGAN是25.687，DNF-SR是24.970。

这不是“扩散彻底取代生成对抗网络”。Real-ESRGAN模型与部署生态更成熟，常见显卡上的成本更可控，也不依赖大型图像编辑骨干和文字说明。DNF-SR的优势在于更强的生成先验和感知表现，代价是模型更重、输入链更复杂、随机性更高。团队要根据画质目标与预算选路线，而不是只看一列榜单。

近期Fill2SR则从另一侧说明图像编辑模型为何适合超分：它把遮挡修复扩散变换器的原生条件接口改造成真实图像超分入口，尽量避免额外空间控制分支。DNF-SR与它的共同点，是都把“恢复”重新理解成有参考输入的图像编辑；区别在于DNF-SR突出原始与加噪低清双输入，以及利用随机好坏结果做后训练。两者更像同一趋势下的不同接口设计，不宜仅凭发布时间或单项指标简单排座次。

十二、复现门槛：代码已开，但不是下载后点一下就跑

官方仓库已经给出训练配置、两阶段训练入口、推理脚本和评测脚本，也提供预训练适配器下载入口。推理需要FLUX.1-Kontext-dev基础模型，该模型从Hugging Face获取时需要登录并接受访问条件；训练还需要DINOv3 ConvNeXt-Large权重，多种质量指标也会在首次使用时下载对应权重。

仓库默认的两阶段训练脚本按8张显卡编写。第一阶段训练图像编码器与扩散变换器的低秩适配器，第二阶段从第一阶段检查点出发，每个优化步骤生成8个随机候选，再运行多种质量评价并反向更新。与普通单次监督微调相比，第二阶段把生成、解码和多指标评分都放进训练环，显存、吞吐和存储压力都会增加。

推理也不是任意分辨率直接塞进去。官方实现以1024像素为原生处理尺度：目标短边不足1024时先放大到该尺度处理，再缩回真实目标；大于1024时切成重叠图块，分别处理后融合。大图因此需要多次一步前向，“一步”描述的是每个图块的扩散去噪次数，不等于超大照片永远只做一次网络计算。

此外，默认推理还要为输入生成文字说明。若产品不想再挂一个视觉语言模型，就要准备人工提示、固定模板或无提示策略，并重新评估画质。实际部署账本至少包括：Flux基础模型、两套适配器、图像说明模型、图块处理、随机种子管理和前后处理。只报“一步扩散”而不算这些外围成本，会低估系统复杂度。

十三、适合哪些产品，不适合哪些任务

它不应未经专门验证就用于医疗诊断、司法取证、工业缺陷测量、遥感定量分析和必须逐字准确的票据恢复。这些任务最怕“合理但不存在”的细节。即使结果视觉上更清楚，也应保留原图、随机种子和差异图，并把生成式恢复明确标成增强结果。

对于端侧或高并发服务，模型大小和1024尺度处理也会形成压力。若一台服务器同时处理大量高分辨率图片，图块数量会迅速增加；若每张图还先跑一次图像说明模型，延迟和显存调度会比单一生成对抗网络复杂。最现实的落地方式可能是云端高质量档，而不是立刻替换所有实时超分模块。

十四、龙哥点评：真实价值在“把矛盾显式化”

龙哥觉得，这篇工作最值得肯定的，不是又把一组感知分数刷高，而是把一步扩散超分的两个矛盾拆开处理。输入端用原始低清守住内容，用加噪低清接回生成先验；训练端既学习高质量随机结果，也主动远离低质量结果。结构和后训练都围绕同一个问题：怎样让模型敢补细节，又别忘了它是在修图。

第二个价值是诚实地暴露了峰值信噪比与感知质量的交换。完整模型在多个无参考指标上领先，但相对监督版本，RealSR峰值信噪比下降0.658，学习感知相似度也变差。论文没有把这条曲线藏起来。对真正做产品的人，这比“所有指标全赢”的故事更有用，因为你终于知道旋钮往哪边拧会付出什么。

复现门槛同样不能轻描淡写。8张H20显卡、Flux-Kontext访问、DINOv3权重、多种质量模型、两阶段训练和每步8次采样，决定了它更像研究团队和有算力预算公司的方案。预训练适配器降低了推理门槛，却没有消除基础模型、提示生成和图块处理的部署成本。

判断一项超分技术是否值得采用，不能只问“图片是不是更锐”，还要问：错误细节由谁承担，延迟和显存由谁支付，用户能否看到原图对照，业务究竟更怕模糊还是更怕编造。DNF-SR把感知端向前推了一步，但最终落点仍要由场景负责，而不是由榜单替团队决定。

十五、龙迷三问

第一问：双输入是不是等于把同一张图简单复制两遍？
不是。一份低清潜变量与噪声混合，承担“一步生成”的起点；另一份保持原始内容，作为图像编辑条件。两者在模型里扮演的角色不同，消融也显示同时使用比任一单输入更稳。

第二问：感知指标更高，就一定更接近真实高清图吗？
不一定。感知指标更关注自然、清晰和语义合理，峰值信噪比与学习感知相似度更依赖高清参考。完整模型的无参考指标上升，同时部分有参考指标下降，说明结果更讨人眼喜欢，但不等于每个新细节都是真实存在过的。

第三问：普通开发者最值得借鉴什么？
遇到“既要生成能力、又要条件忠实”的任务，可以把两种需求拆成不同输入通道；遇到随机输出质量不一，也不必只挑最好样本，可同时把好结果当正方向、坏结果当负方向。但评价空间必须贴近最终用户看到的结果，否则内部张量变好，画面仍可能出现伪影。

十六、总结：一步不是终点，平衡才是主线

DNF-SR建立在Flux-Kontext图像编辑骨干上，用原始低清潜变量和加噪低清潜变量双输入，在中间时间步完成一次去噪。第一阶段通过潜变量对齐、图像重建、视觉特征与生成对抗目标训练；第二阶段对同一输入采样多个随机结果，用有参考和无参考质量指标形成综合奖励。

高奖励结果推动模型靠近，低奖励结果推动模型远离；为了避免直接在速度潜变量中优化产生网格，正负方向被解码到图像与特征空间再计算。实验表明，完整模型在四个数据集的无参考指标上表现强，但峰值信噪比和部分有参考指标并非最高。

这篇论文真正推进的，是让一步扩散不再只能在“保守但模糊”和“锐利但乱编”之间二选一。双输入负责保住两端，负样本感知后训练负责利用随机差异继续校准方向。它还没有消灭超分中的失真—感知矛盾，却给出了更清楚、更可分析、也更接近工程决策的解法。

本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。