← 返回 PaperDaily 视觉与图像

首尔大学CVPR 2026：34Hz实时去噪，热红外图像不再“雪花飘飘”

当你把机器人放进一座没有灯光的漆黑走廊，绝大多数视觉传感器都会当场“罢工”，但热红外相机可以。只是，它拍出来的画面像蒙上了一层雪花点，还带着顽固的横条纹。首尔大学团队交出的这份答卷——TIDY，用一种极其优雅的方式把噪声“剥离”了出来，纯靠小波域的数学之美，让热成像实现了前所未有的清晰。

龙哥读论文发布于 2026-08-14 09:10:40 阅读 5 查看原文

#图像去噪 #机器人 #损失函数 #数据集

🐉 龙哥读论文知识星球来了！
还在为TIR图像的顽固噪声挠头？星球每日无上限解读去噪、增强等AI领域前沿论文，附带开源代码速递与行业动态，每日2分钟刷完即赚！ 👇扫码加入「龙哥读论文」知识星球，前沿干货、实用资源一站式拿捏～ xingqiu_header

龙哥导读：
当你把机器人放进一座没有灯光的漆黑走廊，绝大多数视觉传感器都会当场“罢工”，但热红外相机可以。只是，它拍出来的画面像蒙上了一层雪花点，还带着顽固的横条纹。首尔大学团队交出的这份答卷——TIDY，用一种极其优雅的方式把噪声“剥离”了出来，纯靠小波域的数学之美，让热成像实现了前所未有的清晰。

原论文信息如下：

论文标题:
TIDY: Thermal Infrared Image Denoising via Wavelet Domain Entropy and Directional Stripe Index

发表日期:
2026年06月
发表单位:
首尔大学(Seoul National University)
原文链接:
https://arxiv.org/pdf/2606.19813v1.pdf
开源代码链接:
https://github.com/williamrheeth/TIDY
开源数据集链接:
项目页面包含SCaN-TIR数据集

热红外图像去噪新突破：小波域中的精准“清洁工”

大家有没有想过，当机器人被派往一个漆黑的、没有一丝光线的室内走廊执行搜救任务时，它该用什么“看”路？普通的RGB摄像头这时候基本就歇菜了，眼前一片黑。这时候，热红外相机就成了救星，它能捕捉物体发出的热辐射，完全不依赖可见光。

不过，这位“夜视侠”也有自己的烦恼。它拍出来的画面，常常像蒙上了一层厚厚的“雪花”，而且还有顽固的横条纹。尤其是到了室内，因为物体之间的温差本来就不大，这种噪声会更加严重，导致机器人根本看不清周围的环境。这就好比让一个高度近视的人，在雾霾天里不戴眼镜找钥匙——太难了！

现有的去噪方法，要么效果差，要么跑得慢（比如那些需要很长时间推理的扩散模型），根本没法用在需要实时决策的机器人身上。而且，大部分方法都是在模拟噪声上训练的，一碰到真实的传感器噪声，立马就“露馅”了。

就在大家一筹莫展的时候，首尔大学（Seoul National University）的一支团队，给我们带来了一个惊喜——TIDY。这个名字取得很形象：把你的热红外图像cleaning得干干净净。它没有走传统的老路，而是选择在小波域里“大展拳脚”，用一种极其优雅的方式将噪声和图像内容分离开来。

结果如何？这个轻量级的模型，不仅把去噪性能做到了最优，还能在640×512的分辨率下，以34Hz（每秒处理34帧）的速度实时运行，远超前人方法。更关键的是，它还给机器人领域带来了实实在在的提升，比如让它的自主定位和深度估计能力突飞猛进。这篇论文已经被CVPR 2026接收，可以说是实至名归了。

图6：零样本性能。TIDY在室内外两个数据集上的去噪结果。彩色框内为放大视图。可以看出，TIDY在平坦区域和精细边缘上都产生了比以往方法更清晰的纹理和更锐利的结构细节。

小波域中的精准“清洁工”：核心设计

TIDY的核心智慧在于，它没有直接在像素层面“硬刚”噪声，而是聪明地把问题搬到了小波域。

小波变换，你可以把它想象成一个“魔法滤镜”，它能将一张图像分解成不同频率和方向的分量。其中，低频部分代表图像的主体结构（比如墙、桌子），而高频部分则包含丰富的细节和噪声。TIDY巧妙地利用了这个特性，把噪声和有效信息在频域上“拆”开，然后只对噪声部分进行针对性的“打击”。

基于这样的想法，TIDY设计了一个精妙的架构，核心有三大板斧：

1. 小波编码器-解码器：模型使用离散小波变换（DWT）作为编码器，将输入图像分解成多个子带。然后在一个轻量级的去噪主干网络（NAFNet）中处理这些子带的系数。最后，再使用逆离散小波变换（IDWT）将处理后的系数重新组合成一幅干净的图像。这个设计就像把一幅大画，拆成几块小的拼图，分别清洁后再拼回去，大幅降低了计算量。

2. FiLM条件调控：直接在小波域操作，虽然提升了效率，但也可能丢失一些全局信息（比如墙角的小灯）。为了弥补这个不足，FiLM模块就像一个“精明的细节管家”，它从原始的噪声图像中提取全局信息，然后调制每个小波特征的通道，告诉网络“这里有个小细节，要好好保留哦”。

3. 针对热红外噪声的专属损失函数：这是TIDY最亮眼的地方。它提出了两个全新的指标，作为损失函数来指导模型学习。

图2：(a) TIDY 模型架构。(b) FiLM特征图：图中红色标记了特征图中FiLM调制最强的10%的空间位置。FiLM被训练成在容易因下采样而丢失信息的细节区域（如小吊灯）进行强烈调制，从而缓解DWT导致的信息丢失。

小波熵（Wavelet Entropy，WE）

这个指标专门用来对付随机噪声（雪花点）。简单来说小波熵衡量的是小波系数分布的混乱程度。如果图像全是噪声，小波系数就会很随机，熵值就很高；反之，如果图像很干净，系数分布有规律，熵值就低。这个损失函数迫使模型降低输出图像小波域的随机性，从而抑制噪声。

图4：全局香农熵与小波熵（WE）的比较。WE对热噪声表现出更高的敏感性，在噪声区域产生强烈的响应，而在干净场景中激活极小。

小波方向性条纹指数（Wavelet Directional Stripe Index，WDSI）

这个指标专门用来对付固定模式噪声中的条纹。因为小波变换的细节子带（水平、垂直、对角）与条纹的方向天然对齐。如果图像有很强的水平条纹，那么水平子带的系数就会比垂直子带的系数有更大的均值变化。WDSI正是通过衡量水平与垂直方向统计变化的差异，来量化并最终抑制条纹噪声。

图3：不同数据集的WE和WDSI对比。干净的图像产生较低的WE和WDSI值，而严重的随机噪声显著抬升WE值，方向性条纹噪声则提高WDSI值，验证了WE主要捕捉随机噪声强度，WDSI则响应方向性条纹伪影。

自建真实配对数据集SCaN-TIR

除了算法本身，TIDY的另一个巨大贡献就是SCaN-TIR数据集。这是首个真实场景下的立体“干净-噪声”配对热红外图像数据集。以往的研究大多依赖合成噪声，这就有个域差距——模拟的噪声和真实的噪声长的不太一样。而SCaN-TIR直接利用两个并排放置的热红外相机，一个开启非均匀校正（NUC，一种常规降噪手段）来拍出干净图像，一个关闭NUC并积累超4小时噪声来拍出严重污染图像，从而实现了真实噪声的“一对一”监督学习。这个数据集的诞生，可以说是为整个热红外去噪领域填补了一块重要的拼图。

图5：SCaN-TIR。(a) 数据采集装置，红色框内显示了放置在UGV上的两个相邻的A65 TIR相机。(b) SCaN-TIR数据集中干净和噪声样本的对比。

轻量级模型实现34Hz实时处理

在机器人应用中，“跑得快”和“效果好”同等重要。TIDY凭借其优雅的架构设计，在性能和速度之间取得了完美的平衡。

从主实验对比表（表I）中可以看到，TIDY在合成噪声（IRE）和真实噪声（SCaN-TIR）两个数据集上的PSNR（峰值信噪比，值越高越好）和SSIM（结构相似性，值越高越好）都大幅领先于所有现有方法。例如，在SCaN-TIR数据集上，TIDY的PSNR达到了14.11 dB, 而第二名PPFN仅为12.39 dB，提升显著。

更令人兴奋的是它的推理速度。在640×512分辨率下，TIDY可以达到34.3 FPS（每秒帧数），远远超过其他基于深度学习的方法（如PPFN的10.6 FPS，TIR-Diffusion的0.9 FPS），完美满足了机器人实时运行的需求。

表I：各模型在IRE和SCaN-TIR数据集上的数值比较及运行FPS。最佳结果以粗体标出，次优以下划线标出。

下游任务提升显著：理论与实践的完美闭环

一个算法好不好，最终还得看它在实际任务中的表现。TIDY在机器人领域两个关键下游任务上的表现，证明了它的“实战”能力。

热惯性里程计（TIO）：类似人的“导航”能力，让机器人知道自己走了多远、转了多少弯。从表II可以看出，将TIDY去噪后的图像输入给经典算法VINS-Mono，其轨迹估计误差（ATE，绝对轨迹误差，值越小越好）在多个场景下都降至最低，甚至打败了专门为此任务设计的深度学习模型DeepTIO。图7直观地展示了原因：噪声图像会误导算法提取大量固定于画面的噪声点作为特征，导致定位不准；而TIDY去噪后，算法能稳定地提取真正属于场景结构的特征。

表II：基于VINS-Mono框架和OdomBeyondVision数据集，各基线方法与TIDY的ATE对比。最佳结果以粗体标出，次优以下划线标出。

图7：热惯性里程计性能。VINS-Mono在不同图像上提取的特征点对比。绿色：持续追踪的特征；红色：新特征；紫色：离群点。噪声图像中的特征提取被固定模式噪声主导，导致里程计误差巨大。TIDY去噪后，这种误差被显著降低。

单目深度估计（MDE）：类似人的“看远看近”能力，判断物体离自己有多远。从图8和表III可以看出，直接从噪声图像中估计深度，预测的深度图非常不准确。而TIDY去噪后，深度图的清晰度和准确度都得到了质的飞跃，可以帮助机器人更好地理解三维空间。

图8：单目深度估计（MDE）性能。Depth Anything 3 对来自OdomBeyondVision的原始噪声图像、TIDY去噪图像以及热红外专用的深度估计器MonoTher-Depth的结果对比。

表III：在ViViD++室内序列上的MDE评估结果。AbsRel（越低越好）和δ1（越高越好）两个指标均显示TIDY去噪后带来了持续的性能提升。

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：

这篇论文主要解决了什么问题？TIDY旨在解决热红外图像在机器人部署中，特别是室内场景下，因严重随机噪声和固定模式噪声（条纹状FPN）导致的感知退化问题。它提出了一种轻量级的、基于小波域的去噪方法，能够在实时运行的条件下显著提升图像质量，最终改善下游任务（如里程计、深度估计）的性能。

小波熵和小波方向性条纹指数具体是什么，它们为什么能起作用？小波熵（WE）计算小波系数分布的混乱程度，随机噪声会让系数分布更随机，熵值更高，所以降低熵可以抑制随机噪声。小波方向性条纹指数（WDSI）则利用小波子带的方向性，水平和垂直子带系数在条纹存在时会产生不同的方差模式，通过惩罚这种不平衡，可以抑制条纹噪声。它们共同构成了一个完全针对热红外噪声特性的、物理可解释的损失函数。

TIDY为什么不用像UNet那样的全尺寸编解码结构，而是用小波域？传统UNet在像素空间操作，计算量大。TIDY通过小波变换将空间分辨率缩减为原来的1/4，这使得后续的NAFNet主干网络的计算复杂度降低了约4倍（理论计算），从而实现了34Hz的高帧率。同时配合FiLM模块弥补下采样带来的信息损失，做到了效率与性能的兼得。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★★✰

ZZZ: 将小波域与专门为热红外噪声设计的损失函数结合，并构建了首个真实配对数据集，创新性很高，但核心网络结构是基于已有的NAFNet，不是完全从零造轮子。

实验合理度：★★★★★

ZZZ: 非常合理。在合成和真实噪声上做了全面对比，零样本测试也充分证明了泛化能力，下游任务验证更是锦上添花，对比基准都是近年最新或最相关的方法。

学术研究价值：★★★★✰

ZZZ: 为热红外去噪提供了一个高效且鲁棒的新范式，其提出的可度量的噪声指标和真实数据集，对后续研究有重要启发和推动作用。

稳定性：★★★★✰

ZZZ: 在多个不同数据集和噪声水平下表现稳定，但在极端恶劣、传感器损坏的情况下可能仍会面临挑战。

适应性以及泛化能力：★★★✰✰

ZZZ: 论文展示了很强的跨场景零样本泛化能力，但其对非热红外领域的噪声（如可见光相机的变种噪声）的适用性未经检验，目前认为是专门为热红外噪声定制的方法。

硬件需求及成本：★★★★✰

ZZZ: 非常低。仅需一块RTX 4090训练4小时，推理时34Hz的帧率也使得在嵌入式设备（如Jetson系列）上运行成为可能，成本可控。不过训练仍需要GPU，略微扣一星。

复现难度：★★★★★

ZZZ: 极低。论文作者已开源代码和核心数据集SCaN-TIR，复现门槛基本为零。

产品化成熟度：★★★✰✰

ZZZ: 已具备很高的产品化潜力，但距离“即插即用”的产品还有一段距离。主要限制是它需要针对特定相机型号和噪声水平进行微调，且未考虑时间维度的一致性。

可能的问题：虽然方法非常出色，但可能会被批评为“工程味”较重，核心创新在于损失函数和数据集，而非模型架构。另外，WDSI和WE的权重（0.2和0.4）是通过实验确定的，在不同场景下是否最优还有待验证。此外，当时间维度的噪声模式变化较快时，纯帧级去噪可能不是最优解。

主要参考文献

[1] Rhee, T.H., Lee, D.G., & Kim, A. (2026). TIDY: Thermal Infrared Image Denoising via Wavelet Domain Entropy and Directional Stripe Index. CVPR 2026.

[2] 论文链接： https://arxiv.org/pdf/2606.19813v1.pdf

[3] 开源项目： https://github.com/williamrheeth/TIDY

*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～想了解更多原文细节的小伙伴，可以点击"阅读原文"，查看更多原论文细节哦！

热红外图像去噪界的新星TIDY，不仅轻量、实时还开源！想跟龙哥和7000+业内同好一起追踪这样“又好又快”的顶会顶刊？扫描下方二维码或者添加龙哥助手微信号：kangjinlonghelper。备注：研究方向+地点+学校/公司+昵称（如图像去噪+上海+交大+龙哥），更快进群，一起探讨前沿技术，告别孤军奋战！
wechat_helper