← 返回 PaperDaily
视觉与图像
RAW域修复和RGB域修复谁才更强？维尔茨堡大学新基准给出反直觉答案
图像修复该放在ISP前还是ISP后，一直是个争论点。这篇来自维尔茨堡大学的新基准给出了一个略带“反转”味道的答案：选RAW还是RGB不是核心，修复模型的训练分布是否对齐目标成像管线才是决定性因素。结论来自四组手机传感器、两种固定ISP与三档退化条件的系统实验，值得计算摄影研究人员和移动端算法工程师都花时间读一读。
龙哥读论文
阅读 1
查看原文
原论文信息如下：
相机流水线中的恢复之争：RAW域还是RGB域？
你举起手机按下快门，CMOS传感器记录下一大堆RAW数据——这是未经任何美化、直接由感光元件测得的原始数值，通常按照拜耳RGGB的滤色阵列排布，每个像素只有红、绿、蓝中的一个通道。RAW数据本身并不好看，甚至可以说是“灰扑扑的”，必须经过一套复杂的图像信号处理器（ISP，Image Signal Processor）流水线，才能渲染成我们熟悉的sRGB彩色照片。这一连串操作包括去马赛克恢复全彩、白平衡纠正色温、色彩校正矩阵校准以及非线性色调映射等。也正是因为ISP的存在，底层视觉研究里出现了一个持续多年的路线之争。
如果拍出来的照片有噪声、有模糊，修复模型应该放在哪里？是放在ISP之前、直接对RAW数据做恢复，还是放在ISP之后、等手机把图渲染好了再处理sRGB图像？这个选择看起来只是“在流水线上换个位置”，实际上牵扯到训练数据怎么造、模型结构怎么选、移动端算力怎么分配，甚至会改变整个产品链路。
支持RAW域恢复的人会说：RAW是传感器的线性测量结果，噪声模型相对干净，在ISP的色调映射扭曲噪声之前做修复，当然是更“治本”的时机；支持RGB域恢复的人则会反驳：用户最终看到的是sRGB照片，RGB域模型成熟、数据集多，直接在成品图上修不更直接吗？
困难在于，过去很多对比其实不在一个公平的起跑线上：有人拿RAW模型和RGB模型比，但训练数据来自不同退化生成器；有人在不同ISP上比，但ISP内部参数完全不同；还有人比的是“预训练权重直接用”和“在自己数据上重新训练”的差别——参数量、训练分布、退化类型全都乱在一起，最后很难说清到底是“域”在起作用，还是别的东西在起作用。
来自德国维尔茨堡大学计算机视觉实验室的研究团队，在这篇论文里做了一个很有价值的“拆解”动作：他们把ISP固定住、当成一个不可修改的黑盒，然后在它前后分别放置修复模型，只改变“修复发生在哪个域”和“训练数据是否来自该ISP输出分布”这两个变量。这样剥离出来看，RAW域和RGB域之争就变成了一场可以重复验证的系统实验。
先看相机流水线的数学模型。一个简化的ISP过程可以写成：
yrgb = ISP(xraw) = γ(C(W(D(xraw))))
其中xraw是马赛克排列的RAW传感器数据（通常为拜耳RGGB格式），yrgb是最终sRGB图像；D表示去马赛克，用于插值补全缺失的颜色通道；W是白平衡，用来校正色温；C是设备特异的色彩校正矩阵；γ则是高度非线性的色调映射，负责压缩动态范围并做伽马校正。越是靠后的环节，噪声与模糊的交互就越复杂。等RAW数据被ISP完整处理成sRGB照片之后，原本在RAW域上相对“干净的”退化统计已经被大幅扭曲，修复难度自然也就变了。
然而，认为“RAW域天然更强”或者“RGB域必然更好”的结论，都还缺一个关键的证据闭环：到底应该把差异归因于修复所在的域，还是归因于训练分布是否与目标ISP对齐？这正是本文最关心的核心问题。
固定ISP下的双策略基准框架：方法设计与实验协议
要公平地比较策略A和策略B，首先要有一套可控的实验框架。
真实场景里，想获得像素级对齐的“退化RAW-干净RAW”或“退化RAW-干净sRGB”数据对非常困难。手机镜头、传感器噪声、防抖模组都会引入复杂的物理退化，而这些退化很难用合成方法完美模拟。因此本文沿用了一套受控退化合成协议：在干净的RAW数据上，人为加入噪声、模糊以及二者的联合作用，用来生成训练和测试数据。这里使用到的成像设备覆盖Vivo X90 Pro、iPhone XS、Samsung S9/S21以及Google Pixel 7-9等多个主流智能手机传感器，训练集共2092张RAW图像，测试集共47张，所有方法和退化等级共享同一份固定划分，避免测试集不一致导致对比失效。
在数据预处理上，每个RAW图像首先按传感器特异的黑电平与位深做归一化，再按照拜耳阵列打包成RGGB四通道表示，最后裁剪为512×512×4的非重叠RAW块。由于RAW块对应的是约1024×1024×3的RGB区域，这种预处理在后续送入修复模型时能够完全保留CFA结构。图中展示的是部分合成退化示例：可以看到，不同的噪声模型和模糊核被叠加到干净RAW上，以模拟真实拍摄中常见的传感器噪声与运动模糊。
论文将退化类型划分为三个递进等级，统一建模为下面的公式：
其中x为干净RAW，y为退化后的观测结果，⊗表示卷积操作，k为模糊核，n表示噪声。等级1是纯去噪任务，只保留噪声项，噪声建模为异方差高斯噪声或真实传感器噪声，满足n ~ N(0, αx + σ²)，这种模型能反映光子散粒噪声随信号强度变化的特性；等级2是纯去模糊任务，只保留模糊项k，模糊核又分为各向异性高斯型、线性运动模糊与复杂运动模糊等多种模式；等级3则是噪声与模糊联合叠加，对应真实世界中暗光手持拍摄等最棘手的情况。训练时，模糊以0.5的概率随机施加，各类噪声模型等概率采样，增加了模型对退化多样性的适应能力。
在ISP的选择上，由于真实手机厂商的ISP通常是私有且不可微的，论文训练了两个学习型ISP作为固定流水线代理：一个来自学习型智能手机ISP挑战赛的获胜结构，另一个来自Mobile AI 2025挑战赛的获胜结构。这两个ISP一旦训练完成后，在整个修复对比实验中权重都被固定下来，不允许修复模型反传梯度去调整它，也不提供内部参数给修复模型使用。这正是为了模拟真实工程中“厂商ISP不可修改、只能适配”的处境。
为了量化ISP本身对退化输入的敏感程度，论文先在不加任何恢复模型的情况下，把不同退化等级的RAW直接送入ISP评估。结果很明显：神经ISP面对退化RAW时性能显著下滑。以Vivo X90为例，ISP v1在干净输入上能达到22.60dB PSNR，而加入噪声后掉到21.52dB，加入模糊后进一步掉到20.90dB，噪声模糊联合时只剩19.37dB，累计下降了3.23dB。这说明ISP并非一个鲁棒的前端模块，输入端的退化会被它直接放大到输出图像中。
那么修复模型该怎么选？在策略A的RAW域一侧，本文选用了从经典基线到高效恢复模型的一系列代表：包括广泛用作恢复骨干的UNet、面向传感器RAW去噪的PMRID、能够应对多点退化的MFDNet，以及近年来在轻量级恢复上表现突出的NAFNet和MOFA。这些模型统一接收归一化后的四通道RGGB输入，输出修复后的RAW，再送入固定的ISP。表2给出了不同RAW恢复模型的性能与计算开销。综合来看，NAFNet和MOFA在PSNR、SSIM与参数复杂度之间取得了更好的平衡，因此被选为后续主要对比模型。
策略B的RGB域一侧，则选用了AirNet、PromptIR和MiOIR三个代表性的多合一RGB恢复模型。它们都基于大规模RGB数据训练，能同时处理多种常规退化，参数量普遍在15M到30M之间，远大于策略A采用的RAW模型。但需要注意：这些RGB模型使用的是“通用预训练”权重，它们的训练退化分布并非来自本文固定的目标ISP输出。
关键发现：训练分布对齐比恢复域选择更重要
有了这套双策略框架，论文给出了两个层面的对比结论，而这两个结论合在一起，恰好构成了全文最具“反转感”的发现。
第一层对比：在相同退化协议下训练的RAW修复模型，明显优于那些在常规RGB退化上预训练的通用RGB模型。以Samsung S9在等级2去模糊任务上的表现为例，NAFNet加ISP v1的组合达到25.99dB，而ISP v1加MiOIR只有22.49dB，两者相差3.50dB。等级3联合退化下差距进一步拉大，说明通用RGB模型面对经过ISP非线性变换后的复杂伪影，即使在更大参数量的支持下也未必能有效迁移。
这样显著的提升从何而来？原因在于，经过ISP的白平衡、色彩校正和色调映射后，RGB图像中的噪声不再是RAW域里那种信号相关的简单噪声，模糊也不再是纯粹的卷积效应，而是被各种非线性变换“拧”过的复合伪影。通用RGB模型在学习时看到的退化形态，与这些ISP输出中的退化形态存在系统性差异；而RAW域修复模型相当于在ISP之前先把这些退化“挡在门外”，让ISP有机会处理到相对干净的输入。论文用前文Vivo X90的例子做了很好的说明：等级1噪声下，没有修复时ISP的PSNR从22.60dB掉到21.52dB，而NAFNet修复后再送进ISP可以达到22.00dB，已经非常接近无退化时的22.60dB。换句话说，RAW恢复不只是修复了肉眼可见的损伤，也在体系上保护了下游的ISP。
更值得一提的是，RAW模型在参数量上占据明显优势：NAFNet约1.13M参数、3.99G MACs，MOFA约0.97M参数、1.14G MACs，而通用RGB模型普遍有15M到30M参数。在取得更高修复精度的同时，策略A模型的计算开销反而更低，这对移动端部署是一个很现实的利好。
然而，故事并没有在“RAW域获胜”这里结束。论文紧接着指出：RAW模型在这场对比中之所以赢，并不是因为它处在RAW域这个位置本身，而是因为它的训练分布和评测时的退化协议是对齐的；而通用RGB模型的训练数据和评测数据之间存在明显分布偏移。为了验证这一点，作者做了一组更加关键的对照实验。
在Vivo X90数据上，论文训练了一个“ISP感知”的RGB恢复模型：它拥有和策略A中NAFNet相当的结构与数据规模，唯一的区别是，它的训练数据来自固定ISP的输出分布。具体来说，让退化RAW先经过固定ISP变成退化sRGB，再以“退化sRGB→干净sRGB”为学习目标。修复模型依然接触不到ISP的内部参数和梯度，只能从输入输出关系里隐式学习ISP带来的伪影模式。
结果出现了第二次反转：一旦RGB模型也做到了“与目标ISP分布对齐”，它的性能全面超过了策略A的RAW模型。在图6中，绿色曲线在等级1、等级2、等级3上都明显站上了蓝色曲线之上。这个结果说明，RGB模型之所以在前面打不过RAW模型，核心短板不是“RGB域不如RAW域”，而是训练分布没有对齐到固定ISP的输出。
为什么ISP感知的RGB恢复能赢？原因在于，固定ISP的白平衡、色彩校正矩阵、色调映射都会在sRGB输出中留下稳定的、可学习的系统痕迹。直接在RGB输出分布上训练的模型，等于隐式学会了这些ISP操作的“补偿方式”；而RAW域模型无论在输入端把RAW修得多干净，都无法直接感知下游ISP渲染时引入的颜色映射与纹理损失。它缺少的是对目标管线的显式感知，而不是恢复能力本身。
因此论文的核心结论非常明确：单独比较RAW域或RGB域并没有绝对意义，真正决定修复性能的，是修复模型的训练分布是否与目标ISP的输出分布对齐。建议领域内研究者把“修复位置是否固定”“训练数据是否包含目标ISP输出”作为关键实验因素来报告，否则很容易得到被偶然变量主导的结论。
从定量到定性：RAW与RGB恢复的全面对比分析
指标只说了一部分事实，真正决定一个算法能否上手机、能否被用户接受，还得看肉眼观感。论文在定性对比中，选择MiOIR作为通用RGB预训练方法的代表，因为它是表4中综合表现最强的通用RGB模型，并与策略A的RAW模型、策略B的ISP感知RGB模型进行了并列比较。
从视觉结果中可以清楚地看出，MiOIR虽然参数规模更大，但在面对ISP处理后的复杂伪影时显得力不从心，修复后的画面仍然残留噪声与模糊痕迹。相比之下，策略A的RAW模型能够更彻底地去除退化，但它在色彩饱和度和细节纹理的恢复上相对保守；而策略B中ISP感知的RGB模型，在去除噪声和运动模糊的同时，还能恢复出更丰富的颜色与细节。这种差别在色彩边缘和纹理区域尤为明显。
更有说服力的是真实场景测试。论文用Vivo X90手机在弱光等挑战条件下拍摄真实RAW照片，直接用手机自带ISP输出sRGB图像，再用不同恢复模型处理。结果中，手机原始ISP输出存在明显的传感器噪声和轻微模糊；ISP感知RGB恢复模型在降噪的同时保留了清晰轮廓和自然纹理；而常见的生成式修复模型RealESRGAN虽然能抹平噪声，却把墙面、布料等区域处理得过于平滑，出现明显的“塑料感”。这也给图像修复从业者提了个醒：在真实相机流水线里，过分激进的纹理生成未必是好事。
如果把合成测试和真实测试放在一起看，策略A的RAW恢复更适合作为ISP的“保护罩”，在输入侧把噪声和模糊压制住，让下游ISP工作在更干净的数据上；而ISP感知的策略B更接近一个“终端调优师”，它直接面向最终呈现的sRGB图像做修复，在颜色、细节和伪影控制之间找到平衡。两种策略并不是水火不容的对立关系，关键是要清楚自己手头有什么训练数据、目标ISP是否固定、以及最终优化的是哪个域的图像质量。
局限性与未来方向：迈向更真实的相机恢复评估
这项基准研究的设计已经相当系统，但作者对自身的局限性也保持着清醒。
首先是测试规模。整个基准只有47张测试RAW图，虽然覆盖了四种手机传感器，但相对真实世界广阔的场景与光照变化仍然偏小，跨设备推广时需要谨慎解读。其次是合成退化与真实退化的差距。无论噪声模型和模糊核设计得多精细，仍然无法完整模拟真实镜头的光学像差、传感器热噪声、以及ISP内部的时域处理。再次，论文中RAW模型与通用RGB模型的对比并不是训练匹配的——两者使用了不同的训练数据生成方式和评测协议，因此这个对比能说明“分布对齐的重要性”，却不能直接证明RAW域或RGB域的绝对性能上限。
在论文末尾，作者提出了一个值得期待的改进方向：在RAW域恢复中引入色彩校正矩阵感知或目标ISP感知的损失目标。例如，让RAW恢复模型通过一个可微的ISP代理来传递梯度，或者在训练中显式加入CCM先验，都可能提升策略A的上限。如果在未来工作中补齐了这条路径，RAW域和RGB域的天平或许还会再次发生变化。真实世界更大的RAW-RGB配对数据集、更多现代手机传感器的加入，也会让这一类基准的结论更加可靠。
如果要用一句话总结这篇论文给研究社区带来的启发，那就是：RAW域与RGB域之争，本质上是一个“训练分布是否对齐”的问题。对于做计算摄影、移动端影像以及ISP算法开发的工程师来说，这份工作最重要的价值或许不在于告诉你“应该把修复模型放在哪里”，而在于提醒你——在投入大量算力训练模型之前，先检查它未来要面对的那个ISP到底长什么样。
龙迷三问
这篇论文到底在解决什么问题？针对手机相机拍摄管线中的盲修复，德国维尔茨堡大学研究者提出一套系统对比基准，覆盖四个手机传感器、两个固定ISP与噪声／模糊／联合退化三种场景。
这篇工作最值得看的点是什么？基准训练的RAW恢复模型在多数配置下优于通用预训练RGB模型；目标ISP训练的RGB恢复模型在Vivo X90特定实验中取得最佳性能。
这篇工作的边界或风险在哪里？优点：系统比较了RAW域与RGB域恢复，揭示了训练分布对齐的重要性；使用多种设备组和退化级别，实验设置全面。缺点：测试集较小（47张），限制泛化性结论；通用比较非训练匹配，传感器特定RAW和RGB模型在不同域优化损失，不能完全隔离域影响。
如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~
龙哥点评
论文创新性分数：★★★★☆
系统比较固定ISP前后RAW域与RGB域盲恢复性能，揭示训练分布与目标ISP对齐比恢复域本身更关键。
实验合理度：★★★★☆
PSNR和SSIM（在RGB域计算）
学术研究价值：★★★★☆
系统比较固定ISP前后RAW域与RGB域盲恢复性能，揭示训练分布与目标ISP对齐比恢复域本身更关键；更关键的是问题定义是否可复用到同类任务。
稳定性：★★★☆☆
现有材料未提供充分的极端条件、重复运行或扰动测试，稳定性暂按中性评价。
适应性以及泛化能力：★★★☆☆
现有材料未完整展示跨数据集、跨场景或分布外实验，泛化能力仍需进一步验证。
硬件需求及成本：★★★☆☆
RAW恢复模型参数量约1-2M，MACs约1.14-3.99G；RGB预训练模型参数量15-30M。
复现难度：★★★☆☆
https://github.com/mv-lab/AISP
产品化成熟度：★★★☆☆
论文验证以研究实验为主，真实部署中的时延、成本、维护和异常场景仍需补充验证。
可能的问题：测试集较小（47张），限制泛化性结论；通用比较非训练匹配，传感器特定RAW和RGB模型在不同域优化损失，不能完全隔离域影响。
*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～ 想了解更多原文细节的小伙伴，可以点击"阅读原文"，查看更多原论文细节哦！
