西北工业大学偏振图像恢复：低照与雾霾下，同步还原画面与偏振信息

龙哥导读

一台偏振相机拍到的画面，可能看起来已经清楚了，但它对材料、反光和表面形状的判断仍然不准。原因是偏振信息藏在几幅不同角度的图像差值里：只修好每一幅画，不一定能把这些差值也修对。西北工业大学团队提出的 UniPolar，试着让“图像要清楚”和“偏振量要可信”在同一套恢复流程里互相校验。

先问一个具体问题：如果一台相机只拍到一张被噪声、低照和雾霾共同影响的偏振马赛克图，算法怎样知道哪些像素真的被测到，哪些只是缺失；又怎样保证补出的图像没有破坏光线本身的偏振关系？UniPolar 的答案不是再加一个“把图修漂亮”的模块，而是同时恢复角度图像和由它们推导出的物理量。

一张马赛克图里，混着两种不同的麻烦

先把相机想成一块铺着很多小滤片的传感器。普通相机主要记录彩色像素的亮度；彩色偏振滤光阵列成像系统还让不同像素分别对应不同偏振方向。论文研究的是0°、45°、90°、135°四个方向。一次曝光就能同时采到它们，但每个像素只看到其中一种颜色和一个方向，其他通道必须从周围不完整的采样里补回来。

这造成第一类困难：传感器本身留下了空格。把四种方向和三种颜色铺在同一张芯片上，得到的是一张稀疏的“拼图”，不是四幅完整照片。恢复算法既要补出缺失颜色，也要把每个偏振方向的空间细节找回来。边缘、纹理和细小结构一旦在插值时被抹掉，后续偏振计算就会跟着偏移。

第二类困难来自环境。光线太弱会让传感器信号更容易被噪声盖住，雾霾会降低对比度、改变光线传播；它们都可能同时影响四个偏振方向。于是，一张输入里既有传感器噪声和马赛克缺失，也有低照或雾霾造成的环境退化。把这些问题拆开处理，前一步的错误可能进入下一步，最后连偏振量也受到影响。

论文的图1把这件事画成了两半。上半部分中，低照和雾霾属于环境造成的影响；相机内部的采样、噪声和马赛克则属于设备一侧。下半部分展示 UniPolar 如何把退化后的观测送入网络，最终同时输出四个角度的图像和偏振信息。图里“可靠强度”和“可靠物理线索”是两个目标，不是同一个指标的重复说法。

图1：上半图展示低照、雾霾、噪声和偏振马赛克等影响；下半图概括 UniPolar 的两路恢复目标。

这也是为什么“图像看起来更清楚”不足以代表偏振任务完成。比如，算法把四幅角度图的亮度都修得很顺，却把它们之间原本细微的差异一起抹平，算出来的偏振方向就可能改变。反过来，如果只追求偏振参数的数值误差，也可能得到纹理不自然、边缘不清晰的画面。UniPolar 试图让两种要求同时进入训练目标。

这个问题对没有接触过偏振成像的读者也不难理解：如果四张照片本来应当表现同一场景在四个方向上的不同反射，却被算法各自“修成”互不相关的样子，那么之后从它们计算出的物理信息就失去依据。算法需要的不是四个彼此独立的美化结果，而是四张互相说得通的图。

偏振量是怎样从四幅图里算出来的

理解论文方法，先要认识它要保护的关系。用 I0、I45、I90、I135 表示四个方向的图像，线偏振相关的斯托克斯参数可由它们计算：总强度 s0=I0+I90，两个方向差分量 s1=I0−I90、s2=I45−I135。前者更像整体亮度，后两者记录方向之间的差别。

再由这两个差分量，可以计算线偏振度和线偏振角：线偏振度=√(s1²+s2²)/(s0+ε)，线偏振角=½ atan2(s2,s1)。ε 是防止分母为零的小量；atan2 根据两个输入的正负组合确定方向。这里有两个关键直觉：偏振度看差分向量的长度相对于总强度有多大，偏振角看这个向量指向哪里。

所以，s1、s2 哪怕只错一点，偏振度和偏振角也可能跟着变化。尤其当两个差分量都很接近零时，向量本身很短，方向会变得不稳定；在这种区域里，强行要求角度完全一致，可能让网络追逐并不可靠的目标。论文后面会用偏振度作为可信程度的权重，减少这类像素对角度损失的影响。

还有一个直接的物理限制：线偏振度不能大于1。如果模型输出的线偏振度超过这个范围，即使图片看上去很平滑，结果也不符合偏振量的可行范围。论文把这类规则写进训练，而不是只在最后计算参数时再检查一次。

这里的公式不是装饰。它们告诉模型两件事：四幅图可以推出一套 s1、s2；另一条偏振支路也会独立预测一套 s1、s2。两套答案应当描述同一个场景。如果它们对不上，问题就不只是某个图像像素的颜色偏了一点，而是图像重建和物理量估计之间发生了矛盾。

这与一般多通道图像恢复有个重要区别：普通图像方法通常重点比较输出和清晰参考图之间的像素差异；偏振任务还必须问，重建出的四个方向能否支持可信的偏振计算。UniPolar 的设计可以概括为：先把画面和偏振线索分别保留下来，再在中间交换信息，最后在输出处核对它们是否符合上述关系。

两条支路分头恢复，再在中途交换证据

UniPolar 先把输入拆成两种表达。图像支路接收稀疏观测和采样掩码：掩码会标记哪些位置确实被传感器采到，避免算法把“没有测量”误当成“这里本来就是黑色”。这条支路负责恢复 I0、I45、I90、I135 四幅图，尽量保住亮度、边界和纹理。

偏振支路则从观测里先计算出较粗的角度差分线索，再预测 s1、s2。它并不把这份粗线索当成最终答案，因为插值、噪声和环境退化都可能已经污染它；这条支路的作用，是保留一种直接围绕偏振差分建模的视角。两个分支处理的是同一场景，但侧重点不同。

图2展示完整网络。左右两路各有编码、潜在特征处理、解码和细化模块；在不同尺度上，图像特征与偏振特征相遇。它们不是把全部信息直接混成一个向量，而是先通过门控和残差交换有用部分，再把各自通道保留下来。这样做的目的，是让互补信息能够流动，同时避免一条支路完全覆盖另一条支路的判断。

图2：图像支路恢复四个偏振角度的图，偏振支路预测 s1、s2；中间交互模块交换信息，输出端再核对物理关系。

图中第一个值得注意的模块叫双域频率交互。它的“频率”不是说相机在测声音或无线电频率，而是把特征拆成粗略变化和细节变化。低频部分常包含整幅画面的亮度、对比度和大范围雾化；高频部分更容易带有边缘、细纹理、马赛克接缝、噪声以及局部偏振变化。

论文用小波变换把每一层特征分成四个子带：一个低频子带，以及三个不同方向的高频子带。可以把低频部分理解成更平缓的整体结构，把其余部分理解成不同方向的细节。它们并不等同于“所有噪声都在高频、所有有效信息都在低频”；这是便于理解的分解方式，真正如何分布仍由图像内容和退化过程决定。

低频交互时，两条支路交换较粗的全局信息。例如图像支路知道整幅画面被雾压低了对比度，偏振支路也能提供方向差异的大致分布；彼此借用这些线索，可以减少一条支路只看自己的局部输入而做出偏差较大的修复。论文通过投影和残差加法来交换信息，残差的意思是保留原特征，再叠加一份受控修正。

高频交互更谨慎。对于每个方向的细节子带，模块会同时观察图像特征、偏振特征以及它们之间的绝对差值，再生成一个门控权重。两边相似的区域和差异明显的区域可以有不同的交换强度，避免把边缘细节、偏振结构或噪声一股脑地复制到对方支路。经过交互的子带再做逆小波变换，回到原来的特征尺度。

这个设计试图解决一个很实际的折中：跨支路交流不足，模型无法借用另一种表示提供的证据；交流过强，两条支路又可能失去各自目标。低频适合分享整幅场景变化，高频则要按位置和方向选择性地传递。图像结构与偏振差分并不完全相同，模型不能把它们当作同一种信号。

第二个模块是退化条件调制。模型在训练和推理时会收到一个退化类别：正常、低照或雾霾。它把这个标签变成通道级的缩放与偏移参数，再对中间特征做条件相关的修正。打个比方，同一套修复工具面对暗光和雾霾时，不应使用完全相同的力度；暗光更需要处理噪声与亮度，雾霾则更需要处理散射和对比度。

这里也藏着一个实际前提：模型被告知了当前属于哪种退化。它不是先从完全未知的输入里自动判断“这是雾还是低照”，而是在给定条件后学习相应修正。遇到没有包含在训练标签里的新型退化，或者低照和雾同时出现但标签仍只能选择一个时，条件如何确定就成为另一个需要验证的问题。

双域频率交互决定“哪些信息在什么频率层面可以交换”，退化条件调制决定“当前退化条件下怎样修正特征”。这两者分工不同：一个负责跨域的证据流动，一个负责条件适配。论文的消融结果显示，加入它们后性能逐步变化，但并非每个指标都同时上升；这点比单看最终总分更值得仔细看。

输出端再加一道“物理对账”

两条支路在中间共享特征，最终答案仍可能彼此不一致。图像支路恢复四幅角度图后，可以按前面的公式算出一组 s1、s2；偏振支路则直接给出另一组预测值。UniPolar 把两者放在输出端对照，要求它们遵守同一组物理关系。

第一项约束比较两套差分分量：图像推导的 ŝ1、ŝ2 要接近偏振支路预测的 s̃1、s̃2。论文使用的是绝对差异的总和。它不要求模型只修好图像或只修好偏振量，而是要求这两个结果至少不要彼此打架。图像支路若把四幅角度图恢复得很顺，但推导出的差分和偏振支路差得很远，就会受到惩罚。

第二项处理偏振角。角度不能像普通数字一样直接相减，因为偏振方向有周期性：接近边界的两个角度，实际方向可能只差一点。论文先把 s1、s2 变成单位方向向量，再比较预测方向和参考方向。它还用真实偏振度作为权重：偏振度高、方向更清楚的像素权重大；偏振度低、方向本身不稳定的像素权重小。

这个权重的直觉很重要。假设一根方向箭头几乎没有长度，那么箭头指向哪里都容易被微小噪声改变；只根据它的角度来处罚模型，可能是在放大不可靠的测量。论文让偏振度较高的像素对方向损失贡献更大，目的不是宣称弱偏振区域不重要，而是避免把随机方向差异当成同等可靠的训练信号。

第三项检查偏振度上限：当预测的 p 超过1时，按超出部分加入惩罚；没有超出则不额外处罚。它像一道简单的护栏，不能替代真实数据验证，却能排除明显不符合物理可行范围的输出。三类约束分别盯住分量、方向和幅度，目标并不相同。

论文还在特征层和损失层都使用了多种监督。总强度 s0、差分 s1/s2 的局部边缘由拉普拉斯响应约束；拉普拉斯算子会突出邻近像素变化，因此可以检查模型是否把边缘抹平。分量一致性、角度一致性和偏振度上限则分别约束输出。它们共同作用，不是一个公式包办所有质量。

如果把这部分压缩成一句话：前面两条支路让模型同时回答“图像是什么样”和“偏振差分是什么样”；输出端的物理一致性约束再问，按公式从图像算出来的结果，是否与直接预测的结果相容。它不保证所有区域都正确，但让模型训练时至少必须面对两套答案之间的矛盾。

表格里的领先，具体领先在哪里

表1是论文最直接的定量证据。它把方法放在正常、低照、雾霾三类条件下比较，也给出平均结果。图像质量看峰值信噪比和结构相似度，数值越高通常越好；偏振度同样报告这两项；偏振角则看角度误差，越低越好。表中每个小格按“峰值信噪比/结构相似度”显示，角度一列是度数。

表1：箭头表示指标方向；“Ours†”使用论文所述的合成去噪与去马赛克预训练初始化。

先看不带预训练的普通 UniPolar。作者报告的平均图像峰值信噪比/结构相似度为31.522/0.875，平均偏振度峰值信噪比/结构相似度为24.097/0.608，平均偏振角误差为16.833°。论文在同一复合退化设置中重训并比较了多种偏振恢复和通用多退化方法，因此这里讨论的是这张表所列的匹配数据和测试划分，不是跨论文、跨数据集的排行榜。

平均值容易掩盖条件差异。正常场景中，普通 UniPolar 的图像指标为39.661/0.950，低照为34.704/0.922，雾霾则为20.200/0.754。雾霾下的分数明显更低，说明环境退化依然棘手；它并不是把所有条件都变成同样容易的问题。模型的总体改善，不能被解释成已经消除了雾霾恢复的困难。

表里还列出一个带 † 的版本：它用论文注明的合成去噪和去马赛克训练权重作初始化，平均图像指标提高到32.788/0.908，偏振度指标为24.377/0.651，偏振角误差为14.597°。这说明初始化带来了额外收益，也提醒读者不要把带预训练结果和普通配置混为一谈。标题所说的能力不应只靠更好的初始化来证明。

作者还用逐步加入组件的消融实验解释模块作用。只有基础双路设计时，图像峰值信噪比/结构相似性是27.7079/0.7987；加入双域频率交互后变成29.4692/0.8438；继续加入退化条件调制后达到30.8831/0.8590；加入图像—斯托克斯物理一致性约束后最终为31.5219/0.8752。偏振度和角度误差也随模块发生变化，但中间某些指标并非一路上升。

例如，退化条件调制加入后图像的峰值信噪比有明显提升，但偏振度的峰值信噪比相比前一阶段略低。论文的解释是，按退化类型调整特征更直接地改善图像恢复，几种偏振量指标却不一定同步受益。随后加入的物理一致性约束进一步提高了偏振度的结构相似性，并降低偏振角误差。这一组消融结果显示，物理约束有助于处理特征融合后的输出矛盾；各组件对不同指标的作用并不完全相同。

论文还比较了去噪和去马赛克任务，以及低照增强任务。在这些单独设置中，UniPolar 的结果并非每项都第一：例如某些基线在个别偏振度指标上更好，作者也报告了这样的差异。它更适合被理解为针对复合偏振退化的一种联合方案，而不是在所有偏振任务、所有指标和所有数据集上都占优的通用模型。

定性图和数据集，能说明什么、不能说明什么

图6把正常、低照和雾霾条件下的观测、参考图和不同方法输出放在一起。上方强度图帮助读者比较亮度与结构，下面的偏振度和偏振角图展示由偏振信息得到的结果。图中的颜色并非装饰：不同色块对应不同偏振值或方向。逐列看时，可以检查输出有没有保住边缘；逐行看时，可以观察环境变化如何影响恢复。

图6：各行对应正常、低照、雾霾条件；图中同时给出强度、偏振度和偏振角相关结果。

图6的价值在于让“画面”与“偏振图”并排出现，而不是只挑一张最清楚的彩色输出给读者看。若图像细节恢复、偏振度图和角度图三者都合理，才更符合论文的双目标。与此同时，定性对比只展示若干样例，不等同于对所有场景的保证；具体平均表现仍要回到表1和测试集设置。

图7专门列出失败案例。论文展示的样例覆盖正常、低照和雾霾条件，并同时观察偏振分量误差。弱偏振区域尤其值得留意：当差分量很小，角度方向本来就敏感；低信噪比会进一步放大微小变化。加入物理一致性约束后整体一致性有所改善，部分像素的偏振角仍可能出现误差。

图7：原论文给出的三个退化条件下的失败样例和偏振误差图。

数据规模也必须和结果一起读。论文整理了642个样本，528个用于训练，114个用于测试；训练数据包括359个正常、100个低照和69个雾霾样本，测试数据分别为70、30和14个。数据来自多个公开偏振图像集，并通过统一配准、采样和退化流程构造训练与测试样本。

特别是雾霾数据：论文说明真实雾霾偏振图像比较稀少，因此使用户外场景合成雾霾，再结合设备噪声和滤光阵列采样。也就是说，雾霾测试能检验模型对这种合成流程的适应性，却不能直接代替真实雾天、真实相机和真实偏振测量的独立验证。测试集中只有14个雾霾样本，这个数量也限制了对泛化能力的判断。

另一方面，论文并非只在合成的复合退化数据上做实验；它还分别报告低照增强、去噪和去马赛克相关任务的结果。需要注意的是，这些任务使用各自的数据和评测流程，不能把它们与主表里的复合退化数字直接混成一个总排名。论文的主张集中在多退化同时出现时，图像和偏振量应当协同恢复。

它与两类相近工作有什么不同

偏振图像与物理量联合恢复并不是从 UniPolar 才开始。2026年3月6日公开的《Architectural Unification for Polarimetric Imaging Across Multiple Degradations》也采用单阶段的图像—斯托克斯联合处理，并在低照去噪、运动去模糊和去马赛克等任务中使用结构相近的框架。它的重点是同一架构覆盖多种退化类别，但不同退化任务分别训练；UniPolar 更集中于偏振滤光阵列观测中设备退化与低照、雾霾共同出现的复合场景。

另一篇相关工作于2026年7月1日公开，研究的是彩色偏振滤光阵列里的联合去噪与去马赛克。它将噪声处理和缺失通道重建放进相互连接的流程，并在包含40个场景的真实数据集上评估。UniPolar 把问题向前推了一步：环境退化也进入联合设置，同时增加一条直接预测偏振差分的支路，并把图像推导量与直接预测量之间的物理一致性作为训练目标。

但这两篇工作不能简单排成“新方法一定更好”的顺序。它们使用的任务定义、数据、测试划分和指标并不完全相同；另一篇研究的真实数据评估，也不能因为 UniPolar 的复合退化表格数值更高或更低就被替代。更公平的说法是：几项工作在同一条偏振成像链路上解决不同子问题，彼此可以帮助我们看清“采样、噪声、环境、物理量”哪些环节正在成为瓶颈。

从方法路线看，UniPolar 的特别之处不是“第一次同时处理图像和偏振”，而是把频率选择的跨域交互、退化条件调制和输出端物理一致性组合起来，专门面对多类影响叠加的偏振滤光阵列输入。它强调的是模型结构和目标函数如何共同照顾两种输出，而不是某一项图像指标本身。

龙哥点评

我认为这篇论文最值得看的地方，是它把偏振恢复里常被分开讨论的两件事重新绑到一起：画面是否清楚，以及由画面推导出的物理偏振量是否自洽。它没有把“图像分数更高”直接等同于“偏振测量可靠”，而是通过第二条支路和一致性损失，让两个结果在训练中互相对账。

这条思路对做偏振视觉、相机成像和多退化图像恢复的人有参考价值。评测时可以同时报告角度图像质量、斯托克斯差分、偏振度、偏振角和跨分支一致性，而不是只公布一张看起来更清楚的恢复图。特别是当算法被用于材料识别、反光判断或表面分析时，恢复结果能否支撑后续物理判断，往往比单一的视觉观感更关键。

不过，现阶段也不宜把它说成一台已经能应付任意真实环境的偏振相机修复器。雾霾样本是合成的，测试量小；模型依赖已知退化标签；而偏振角在弱偏振和低信噪比区域仍会不稳定。真正决定它能否落地的下一步，应是更丰富的真实采集、未知或混合退化测试，以及对退化标签误差的系统检查。

更广一点看，这篇工作提醒我们：恢复任务的“真值”不总是某一张更漂亮的图片。当图像还承载着可用于估计物理属性的信息时，网络要修复的就不只是像素，而是像素之间必须成立的关系。把关系写进模型并在实验里逐项验证，可能比单纯加深网络更有解释力。

如果后续研究能在真实雾天和低照偏振数据上扩大测试，检验退化类别未知时的表现，并报告不同偏振度区间的误差，这套方法的适用范围会更清楚。反过来，如果这些条件下性能明显下降，研究者也能知道问题究竟来自数据覆盖、条件标签，还是图像—偏振之间的耦合方式。

主要参考资料

文中图1、图2、表1、图6和图7为对应论文原文图表的必要裁切，原始出处见论文全文。

本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。