清华大学FilterFusion：视频去噪网络按像素挑滤波器

龙哥导读

视频降噪常常卡在一个两难里：多帧融合能把噪点压下去，却可能把运动物体“叠出重影”；网络越强，1080p 每帧又可能慢到几秒。FilterFusion 的思路有点反直觉：不让网络在全分辨率上重新画出每个像素，而是让一个很小的控制器判断每个位置该信任哪种滤波结果，再由一组简单滤波器完成高分辨率合成。

视频去噪如何兼顾速度与细节？

想象一段夜间监控视频：静止的天空和墙面可以多帧平均，噪点会更少；但画面里滚动的球、行驶的车辆或摆动的树枝，如果也被简单平均，就会留下拖影。反过来，只看当前帧可以避免重影，却失去多帧信息带来的降噪能力。关键不是“要不要融合帧”，而是哪些位置适合融合、哪些位置应该保留当前帧。

论文提出的滤波融合模型，把这件事拆成两部分：低分辨率网络负责估计像素级的融合权重；全分辨率滤波器组负责生成若干候选结果。网络不是直接输出最终画面，而是像“调度员”一样，为每个位置挑选合适的滤波组合。

图2：输入帧和两类方差信号进入低分辨率权重预测器；滤波器组在原分辨率生成候选结果，再按像素权重合成输出。图片截自原论文图2，来源：https://arxiv.org/abs/2610.21505

一、先看整体：让网络“选工具”，而不是“重画一遍”

设当前要恢复的参考帧亮度为 Yref，第 k 个候选滤波结果为 Bk，网络为该位置预测的权重为 αk。论文把输出写成：

Ŷref(x,y) = Σk=1…K αk(x,y) Bk(x,y)

这里最重要的不是求和符号，而是权重随位置变化。同一帧里，平坦墙面可以更多采用平滑结果，运动边缘则可以更多保留参考帧。因为权重经 softmax 归一化、非负且总和为 1，最终像素是这些候选响应的逐像素加权平均，而不是额外生成一个来源不明的预测值。

候选结果共有五种：多帧亮度均值、当前参考帧、对多帧均值做的两个不同尺度高斯平滑结果，以及参考帧的空间中值滤波结果。它们各有擅长的区域：多帧均值降噪强但怕运动；较强和较弱的高斯平滑适合不同程度的平坦区域；中值滤波更能保边；参考帧则为细节和运动提供“退路”。

这和传统端到端网络的差别在于，网络不必在 1920×1080 的每个像素上都做密集卷积。论文把参考亮度帧和多帧亮度均值先缩小 8 倍，输入轻量编码器—解码器；它只在低分辨率上预测 5 张权重图，再把权重放大到原图尺寸。作者称整个模型约 10.9 万参数。

二、两张“可靠性地图”：分别判断运动与纹理

只把图像缩小还不够。一个低分辨率像素对应原图中的 8×8 区域，区域里的细节可能很简单，也可能包含细线、边缘或纹理；缩小后的平均值会把这些差异抹掉。与此同时，参考帧与邻近帧之间的变化，也决定了“借用其他帧”是否安全。FilterFusion 因此额外计算时间方差 Vt 和空间方差 Vs。

时间方差 Vt：对输入时间窗口中各帧的亮度逐像素计算方差，再缩小到控制器分辨率。它回答的是“这个位置在不同帧之间变了多少？”变化大，可能来自运动、照明变化或闪烁，控制器就应谨慎使用强时间融合。

公式可简写为：Vt = D[Varn(Yn)]。其中 Varn 是沿视频帧序列计算的方差，D 表示最近邻下采样。作者强调，控制器只接收参考帧和时间均值这两张紧凑输入，但时间方差仍利用整个时间窗口的信息，因此无需把所有帧都送进较重的预测网络。

空间方差 Vs：在缩小后的局部区域对应的原图覆盖范围内，按 3×3 采样网格取 9 个亮度位置，计算这些采样值的方差。方差低，区域更平坦，可以适度平滑；方差高，通常意味着边缘或纹理，应避免把结构一起抹掉。它解决的是“当前区域内部复杂不复杂”，而不是“前后帧一致不一致”。

两张地图提供互补线索：Vt 让控制器知道跨帧融合有多冒险，Vs 让控制器知道空间平滑会不会伤到结构。最后 5 个权重由 softmax 计算：αk=exp(wk)/Σiexp(wi)。权重大的滤波响应在该像素处贡献更多，五个权重之和为 1。

图3：红框标出时间变化较大的球体区域，绿色框标出较稳定的天空和电线区域；对照展示时间均值与 FilterFusion 的恢复效果。图片截自原论文图3，来源：https://arxiv.org/abs/2610.21505

图3把“平均会出错”画得很直观：球体在动，直接做时间平均会把球面标识拖花；在较稳定的区域，多帧均值又能抑制噪声。模型要做的不是全局地拒绝时间信息，而是尽量把时间融合限制在可信的位置。

三、亮度通道预测，色度通道共享

论文采用一种常见的半平面视频像素格式来组织数据。亮度分量保留主要结构信息，色彩分量的空间分辨率只有亮度的四分之一。作者先在亮度分量上预测权重，再把同一组权重缩放后复用于色彩分量各自的滤波器组。

最后，系统把处理结果转回常见的红绿蓝彩色模型（RGB）图像。这样的分工减少了重复预测，也让亮度与色彩沿用一致的空间选择；但它依赖一个假设：亮度结构给出的滤波选择，对色彩通道也足够有用。对于特别复杂的色偏、彩色噪声或亮色边界，这种共享是否始终合适，还需要更多跨场景测试。

四、训练目标不只盯像素误差

训练损失由四部分组合：像素级 L1 重建损失、Charbonnier 鲁棒损失、Sobel 梯度损失和频域损失，可概括为：

L = λ1LL1 + λ2Lcharb + λ3Lsobel + λ4Lfreq

直观地说，L1 和 Charbonnier 约束像素整体接近干净参考图；Sobel 项比较水平、垂直方向的梯度，帮助压制平坦区域残余高频噪声；频域项比较预测与目标的二维傅里叶变换，补充像素损失不容易表达的全局频谱差异。论文给出的稳定配置是 λ1=1、λ2=1、λ3=0.1、λ4=0.05。

这也解释了为什么论文不能只看 PSNR：某个方案可能让平均像素误差更低，却造成局部结构或运动边缘不自然。作者后续消融中确实观察到，只用 L1 的变体 PSNR 略高，但 SSIM 略低，说明像素误差和结构保真并不总是同一个方向。

五、实验结果：实时档里质量更高，但不是全场最清晰

主实验使用真实传感器噪声数据集（CRVD），另有合成预训练数据集（SRVD）。前者包含 11 个室内场景和 5 档感光度；训练先在后者上预训练，再用 CRVD 场景 1–6 微调，场景 7–11 测试。

表中峰值信噪比指标（PSNR）越高越好，结构相似性指标（SSIM）越接近 1 通常表示结构越相似，处理时间越低越快，浮点运算量指标（GFLOPs）越低表示运算量越小。

作者在 Intel Core i9-10900X 3.70GHz 处理器上按单线程比较。表 I 的方法行报告 34.72 dB、0.9330、17.9 ms、109K 参数；神经网络本身是 0.18 GFLOPs，把滤波器合成也计入后约为 0.51 GFLOPs。17.9 毫秒约等于每秒 55.9 帧，高于每秒 30 帧的实时线。

表 I：真实传感器噪声数据集 1920×1080 的对比。裁图保留原表标题、表头、全部方法和脚注；单线程耗时是在论文所述处理器与实现条件下测得。来源：https://arxiv.org/abs/2610.21505

和传统滤波相比，双边滤波达到 33.40 dB、187 毫秒；本文方法在这组实验里高出 1.32 dB，同时单帧时间约为其十分之一。简单的中值滤波能以 21 毫秒达到实时，但峰值信噪比是 32.48 dB。也就是说，本文方法的优势不是“比任何方法画质都高”，而是在作者报告的实时方法中，质量和速度组合得更均衡。

轻量卷积网络的对照更能说明取舍：轻量 U 形网络模型（UNetTiny）达到 35.37 dB、0.9461，比本文方法的指标略好，但单线程每帧 4519 毫秒，约慢 252 倍；五层卷积网络模型（SimpleCNN）为 2195 毫秒，约慢 122 倍。反过来说，如果设备有足够算力而画质优先，前一种网络在该基准上仍然胜出。论文的计算量和时间不能脱离硬件、实现和线程条件直接外推到手机或其他设备。

表中的视频降噪模型（EMVD）也值得谨慎读：它的 283 毫秒是为了协议一致报告的单线程值，论文另提到多线程时为 128 毫秒。本文方法的 17.9 毫秒依赖作者编译的 C 语言滤波器合成和图像处理工具包（OpenCV）中的缩放操作。这样的工程优化可以很实际，但它并非只靠神经网络结构就自动获得的速度，也不等于在所有平台都能保持同样倍数。

六、消融实验告诉我们：多帧融合是收益来源，也是风险来源

论文在真实传感器噪声数据集上逐项移除模块。去掉时间方差 Vt 后，峰值信噪比反而从 34.7549 升到 34.8418，但结构相似性从 0.9353 降到 0.9336。这个看似矛盾的结果很有意义：模型可能更强地平均静止背景、让平均噪声数值更低，却在运动边缘产生重影；像素误差指标会奖励前者，结构相似性对局部结构受损更敏感。

去掉空间方差 Vs 后，峰值信噪比降到 34.6080，结构相似性降到 0.9304，说明低分辨率控制器确实需要知道局部纹理复杂度。把滤波器组削减为只含原始帧响应，峰值信噪比会下降 2.23 dB、结构相似性下降 0.117；移除高斯金字塔分支也会损失 1.19 dB 和 0.044。相比之下，单帧变体只达到 25.4074 dB，反映时间信息对该实验的重要性。

图4：感光度 25600 条件下的定性消融：比较不同方差信号设置、完整模型与真值。图片截自原论文图4，来源：https://arxiv.org/abs/2610.21505

这里要留意实验协议：表 I 主结果按两阶段训练，第二张消融表按同数据划分的单阶段 16 万次训练，没有合成数据预训练。两张表适合分别比较各自内部的相对变化，不应把消融表的 34.7549 当成与表 I 的 34.72 完全同协议的再次测量。

七、贡献与边界：把“可解释滤波”变成自适应系统

FilterFusion 并不是第一次把传统滤波和学习模型放在一起。论文回顾了传统视频去噪、学习式时域去噪，以及把经典先验融入图像恢复的混合方法。它更具体的选择是：把滤波响应做成语义清楚的候选库，把选择权交给低分辨率预测器，再用两类方差先验让选择对运动和纹理更敏感。

这种模块化的好处是，响应分支可以解释、替换或删减；滤波器操作也比较规整，容易写成高效的底层实现。局限同样清楚：数据验证重点在真实传感器噪声的室内场景，没有证明对压缩伪影、复杂户外光照、不同相机噪声或快速镜头运动都同样有效；高时间方差只是“不太可信”的线索，并不等同于显式运动估计或正确对齐。

论文摘要提到混合退化问题背景，但本文主实验集中在真实传感器噪声，不应把它理解为已经全面解决压缩、抖动和复杂运动下的通用视频恢复。尤其当物体的纹理本身在闪烁、光源发生变化，或色度噪声与亮度结构不一致时，方差地图可能同时把真实变化和噪声变化混在一起。

龙哥点评

龙哥觉得，这篇工作的价值不只是“把网络压小”。更关键的是它把两个通常分开的选择放进同一套机制：该向邻帧借多少信息，以及该对局部区域平滑到什么程度。空间方差和时间方差各管一类不确定性，再把最终决定落到可理解的滤波响应上，这让速度、结构和故障现象之间的关系更容易分析。

不过，实验最能支持的结论是：在论文所用数据划分和 i9 单线程实现条件下，它展示了不错的实时—质量折中；还不能据此说它已经在任意视频设备上达到每秒 55.9 帧，或在复杂真实环境里超过更强网络。下一步最值得验证的是跨相机、户外运动和压缩视频的泛化，以及把这套选择机制放到更低功耗平台后的实际端到端延迟。

如果后续实验能公开端到端实现和多设备测试，这种“低分辨率学选择、高分辨率做简单合成”的思路，可能为实时视频降噪、去压缩和轻量增强提供一条值得继续探索的路线。

主要参考资料

本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。