← 返回 PaperDaily
视觉与图像
中南财大首个SNN全能修图：31.6dB媲美ANN，能耗仅1/5
脉冲神经网络历来以“省电”闻名，可让它直接处理静态RGB图，就像让旱鸭子下水——有点为难它。中南财大等机构这次直接把SNN拉进全能图像修复赛道：性能追平ANN，能耗只有人家的五分之一，16.8mJ就能搞定一整套修复流程。
龙哥读论文
阅读 3
查看原文
原论文信息如下：
导读：SNN也能做全能图像修复？
全能图像修复（All-in-One Image Restoration，简称AiOIR）指的是用一个统一的模型同时处理多种不同类型的图像退化——比如雨痕、雾霾、噪声、模糊、低光照等。上一代基于Transformer和Mamba的修复模型确实在效果上风光无限，但动辄几百毫焦耳的推理能耗，放到手机、无人机、边缘摄像头上就成了难以承受的负担。以经典的Restormer为例，它在处理一张512×512的图像时，仅单次前向推理就需要消耗数百毫焦耳的能量，这对于依赖电池供电的移动设备来说几乎是不可接受的。而Mamba类方法虽然在线性复杂度上有所改进，但依然没有从根本上解决密集矩阵运算带来的高能耗问题。
脉冲神经网络（Spiking Neural Network，简称SNN）是公认的“省电选手”，它靠离散二进制脉冲传递信息，理论上能比传统人工神经网络（Artificial Neural Network，简称ANN）节能一个数量级以上。这种能耗优势来源于SNN的事件驱动计算范式：神经元只在膜电位累积超过阈值时才发放脉冲，其余时间处于静默状态，因此大部分计算实际上被跳过了。但SNN有一个老毛病——它天生喜欢处理动态事件流（比如事件相机输出的脉冲流），面对一张静态的RGB照片，根本找不到“事件”在哪里，更别提抽取出退化相关的脉冲线索了。这种“静态图像与动态脉冲”之间的鸿沟，是长期以来阻碍SNN进入底层视觉领域的关键障碍。
中南财经政法大学联合穆罕默德·本·扎耶德人工智能大学、武汉大学、中国自然灾害国家研究院提出的SpikeRestormer，直接把这层窗户纸捅破了：用一套“退化事件感知+可靠性推断+恢复事件构建”的流程，让静态图像在SNN内部自己“生产”事件，进而完成全能修复。实验显示，SpikeRestormer在去雾、去雨、去噪、去模糊、低光增强五个任务上都冲到了SNN方法的SOTA，图像质量直逼甚至反超部分ANN方法，同时推理能耗仅为AirNet的三十分之一左右（16.80mJ vs 485.28mJ）。这一结果不仅证明了SNN在底层视觉任务中的可行性，更展示了其在能效比上的巨大潜力。
核心机制：减法与加法注意力如何重新定义事件推理？
先补一点背景知识。SNN里的神经元（比如本文用到的LIF神经元，全称Leaky Integrate-and-Fire，泄漏整合发放神经元）接收输入后会先累积膜电位，只有当膜电位超过某个阈值时才发放一个二进制脉冲（0或1），否则保持静默。这种事件驱动的计算方式把传统神经网络中大量的密集浮点乘加，替换成了稀疏的累加操作，所以能耗能大幅下降。具体来说，LIF神经元的动态过程可以用一个简单的微分方程描述：τ_m dV/dt = -(V - V_rest) + I(t)，其中V是膜电位，τ_m是膜时间常数，I(t)是输入电流。当V超过阈值V_th时，神经元发放一个脉冲，然后V被重置到V_rest。这种机制使得SNN在推理时只有少数神经元被激活，从而大幅降低了计算量。
既然SNN这么省电，为什么此前很少有人拿它做全能图像修复？因为静态RGB图没有天然事件流，而且退化信息与场景结构纠缠得厉害，很难直接提取出对修复有用的脉冲事件。直接把ANN网络换成SNN结构，效果往往惨不忍睹——这是因为ANN中的连续值激活函数被替换成二值脉冲后，信息容量急剧下降，网络难以表达精细的图像细节。SpikeRestormer的办法是：在SNN内部为静态退化图像“造事件”。整个方法围绕三条链路展开——退化事件感知（SDEA）、退化事件可靠性推断（HBSM）、恢复事件构建（AREA），把图像修复重新定义为一次完整的事件推理。这三条链路分别对应编码器、跳连和解码器三个阶段，形成了一个完整的“感知-推断-重建”闭环。
在具体展开之前，还得先说说小波参考事件构建。要给减法或加法找一个“对比对象”，得先构造一个不包含退化响应、只保留场景对齐信息的参考特征。SpikeRestormer对输入特征做Haar小波变换，分解成LL、LH、HL、HH四个子带。低频子带LL保留主要结构信息，高频子带LH、HL、HH则包含方向和边缘细节，更容易暴露退化痕迹。Haar小波是最简单的小波基，其变换过程可以看作是对图像进行水平和垂直方向的差分运算，计算开销极小，非常适合SNN这种对计算效率要求极高的场景。通过小波分解，SpikeRestormer将图像特征分解为不同频率的子带，从而能够针对性地处理不同性质的退化。
进一步，把LH和HL在通道维度拼接，经1×1卷积和tdBN（阈值依赖批归一化，Threshold-Dependent Batch Normalization）处理后，得到一个共享的边缘支撑参考R^E，用于表达结构支撑的高频信息。tdBN是SNN中常用的归一化技术，它根据神经元的发放阈值对激活值进行缩放，使得脉冲信号的分布更加稳定。R^E的设计初衷是：LH和HL子带分别捕捉水平方向和垂直方向的高频信息，拼接后可以提供一个全面的边缘结构参考，帮助后续的减法操作更好地分离退化痕迹。
在SDEA里，不同子带配不同的参考：LL子带用全局平均池化（GAP）结果做参考，LH子带用HL子带做参考，HL子带用LH子带做参考，HH子带用R^E做参考。这样设计的核心目的，是让参考特征尽量“排除”输入自身携带的退化响应，只保留场景对齐信息，从而在减法中把退化残差凸显出来。这种“交叉参考”策略非常巧妙：对于LH子带，HL子带提供了正交方向的结构信息，两者相减可以突出方向性退化；对于HH子带，R^E提供了综合的边缘结构，相减可以突出非方向性的退化痕迹。
接下来是重头戏——SDEA（Subtractive Degradation Event Attention，减法退化事件注意力）。它在编码器阶段负责把“场景共有的结构”和“退化带来的差异”切开。对于每个子带特征X_S^ω和对应的参考特征R_S^ω，SDEA分别经过1×1卷积、tdBN和LIF激活，得到Query（Q_S^ω）和Key（K_S^ω）表示，然后执行绝对差值操作。这里的核心思想是：如果某个位置的Q和K差异很大，说明该位置存在退化引起的异常响应；如果差异很小，说明该位置主要是场景的共有结构。通过LIF激活，这种差异被转换为二值的脉冲事件，从而实现了“退化事件”的显式编码。
为什么选减法而不是传统注意力里的乘法？论文用两条定理给出了理论支撑。定理1表明：在稀疏激活条件下（脉冲发生概率p小于1/2），减法-LIF交互（LIF(|q−k|)）的激活概率为2p(1−p)，乘法交互（q·k）的激活概率为p²；当p小于1/2时，2p(1−p)严格大于p²。也就是说，乘法交互只保留共同激活的信息，而减法交互能更好地捕捉“一方有、一方无”的差异信号——修复恰恰需要这种差异来定位退化。这个定理的直观理解是：在脉冲稀疏的情况下，两个独立脉冲同时激活的概率极低，乘法交互几乎总是输出0，而减法交互只要两个脉冲不同就能激活，因此能捕捉到更多有用的差异信息。
SDEA拿到二进制退化事件后，沿空间和通道两个方向聚合，生成退化事件掩码M_S^ω，再用掩码调制对应的Value响应：X̃_S^ω = X_S^ω + M_S^ω ⊙ V_S^ω。经过逆小波变换和残差连接后，退化事件信息被显式注入特征流；同时各子带的退化事件掩码经平均聚合，生成阶段级的退化事件引导G_s，供后续HBSM做可靠性推断。这里的空间聚合使用全局平均池化，通道聚合使用1×1卷积，两者结合可以同时捕捉退化事件的空间分布和通道相关性。残差连接确保了原始特征信息不会在调制过程中丢失，使得网络可以在保留场景结构的同时注入退化感知信息。
有减法抓退化，还得有加法保恢复。解码器侧的AREA（Additive Restoration Event Attention，加法恢复事件注意力）正好与SDEA互补。解码阶段，特征中既有恢复所需的结构上下文，也有来自编码器的可靠性引导，但二进制脉冲域里的乘法交互类似于逻辑“与”门——只保留双方共同激活的部分，把只有单侧激活的细节全丢了。AREA改用加法交互，对Q与K相加后过LIF，生成恢复事件。加法的妙处在于：只要Q或K中有一个激活，加法结果就可能超过阈值，从而保留所有有用的信息。这相当于逻辑“或”门，能够更全面地捕捉恢复所需的细节。
定理2给出了对应的理论保证：当p小于1/2时，加法-LIF交互的激活率2p−p²始终高于乘法交互的p²，且条件互信息增益也更大。换句话说，在稀疏脉冲条件下，加法比乘法更能留住对重建有用的信息。这个定理从信息论的角度证明了加法交互在信息保留方面的优越性：它不仅保留了共同激活的信息，还保留了单侧激活的信息，因此条件互信息更大。AREA得到子带级恢复事件后，同样聚合出恢复事件掩码并调制候选特征，再与HBSM给出的可靠性引导相乘，得到兼顾“保守”与“进取”的恢复输出。这里的“保守”指的是对可靠性高的引导给予更多信任，“进取”指的是对可靠性低的区域尝试更多细节重建。
关键设计：层次贝叶斯跳连掩码如何保证事件可靠性？
跳连是U型网络的经典组件，但在SpikeRestormer中，编码器生成的退化事件引导G_s并不是直接送往解码器。原因在于，这些引导里除了有用的退化线索，还混杂着不少场景干扰和虚假脉冲激活。如果不加分辨地全部传递，反而可能带偏解码器。这种干扰在SNN中尤为突出，因为脉冲发放的随机性和阈值触发的非线性，很容易产生与退化无关的虚假激活。因此，对跳连信号进行可靠性筛选就显得至关重要。
HBSM（Hierarchical Bayesian Skip Masking，层次贝叶斯跳连掩码）的核心理念，是把“跳连引导到底可不可信”建模成一项潜在变量推断任务。流程分三步。这种贝叶斯方法的好处是：它不依赖固定的规则或阈值来判断可靠性，而是根据当前输入的数据分布动态地推断每个通道的可信度，因此能够适应不同退化类型和不同场景的复杂变化。
第一步，用全局平均池化（GAP）把每个阶段的退化事件引导G_s压缩成一个紧凑描述子d_s。GAP将空间维度上的信息聚合为一个向量，保留了通道维度的统计特征，同时大幅降低了后续推断的计算量。第二步，为每个阶段引入离散的潜在可靠性状态z_s∈{1,…,K_s}，每个状态代表一种可学习的退化事件可靠性模式。d_s被建模为K_s个高斯成分的混合分布，第k个成分的条件似然定义为：
第三步，为了利用多尺度依赖信息，HBSM让深层stage的后验通过一个可学习的转移矩阵T_s去影响浅层stage的先验——这就是“层次”贝叶斯的体现。这种设计基于一个合理的假设：深层的特征具有更大的感受野，能够捕捉更全局的退化模式，因此深层的可靠性判断可以为浅层提供有价值的先验信息。合并似然与先验后，用Softmax计算后验分布：
推断出的后验分布通过一个线性投影和sigmoid激活，变成逐通道的可靠性门控g_s，再与原始引导G_s做元素级相乘，得到可靠性感知的退化事件引导G̃_s。这样，每个通道上的退化事件该信几分，由系统动态决定，而不是靠固定权重。sigmoid激活将线性投影的输出映射到(0,1)区间，使得门控值可以解释为“可信度概率”。这种软门控机制比硬掩码更加平滑，能够保留部分可信的信息，同时抑制不可靠的部分。
这套层次贝叶斯推断机制，本质上给跨层传输的脉冲信号加了一道“安检门”，滤掉那些源自场景干扰的虚假脉冲，保证解码器接收到的引导信号尽量干净可靠。值得注意的是，HBSM的参数量非常小——每个阶段只需要学习K_s个高斯成分的参数和一个转移矩阵，相比主网络的参数量几乎可以忽略不计，因此不会显著增加模型的复杂度。
实验结果：性能媲美ANN，能耗仅为人家的几分之一
SpikeRestormer在AiOIR-3和AiOIR-5两种主流实验设置下做了全面验证。AiOIR-3包含去雾（SOTS）、去雨（Rain100L）和去噪（CBSD68，σ=15/25/50）三类任务；AiOIR-5则进一步加入去模糊（GoPro）和低光增强（LOLv1）。这些数据集覆盖了从合成退化到真实场景的广泛范围，能够较为全面地评估模型的泛化能力。此外，论文还在CDD11数据集上进行了额外的验证，该数据集包含11种不同类型的退化，进一步检验了模型的鲁棒性。
在AiOIR-3设置下，完整版SpikeRestormer仅用10.73M参数，平均PSNR达到31.60dB、平均SSIM为0.912，在SNN方法中全面领先，同时对比基于ANN的AirNet（31.20dB/0.910）也实现了小幅反超。更让人眼前一亮的是能耗：SpikeRestormer在AiOIR-3上的推理能耗为16.80mJ，而AirNet是485.28mJ，NDR是176.39mJ，MPRNet是162.13mJ。用大约三十分之一的能量，换来持平甚至更高的图像质量，这笔账怎么算都划算。轻量版SpikeRestormer-T更夸张，只有1.39M参数、3.72mJ能耗，几乎是为边缘设备量身定做。这种极致的轻量化设计，使得SpikeRestormer-T可以直接部署在低功耗的微控制器上，为物联网设备提供实时的图像修复能力。
在AiOIR-5设置下，完整版SpikeRestormer面对五类差异极大的退化：在SOTS上达到29.53dB/0.971，Rain100L上35.99dB/0.973，CBSD68 σ=25上31.07dB/0.887，GoPro上27.70dB/0.796，LOLv1上20.49dB/0.809，平均PSNR 27.76dB、SSIM 0.881。对照耗电大户DGUNet（223.07mJ），SpikeRestormer仅需18.36mJ，能耗约为其十分之一，而平均PSNR与DGUNet持平，SSIM还略好（0.881 vs 0.877）。在低光增强这种特别考验暗部细节的任务上，SpikeRestormer甚至超过了多个ANN基线，确实有点东西。值得注意的是，低光增强任务对SNN尤其具有挑战性，因为暗部区域的脉冲发放率极低，信息量严重不足，而SpikeRestormer通过AREA的加法交互有效地保留了这些微弱信号。
论文没有公开完整的源码和预训练模型，但给出了详细的定量结果。整体来看，SNN方法与传统ANN方法之间的性能鸿沟正在被快速填平。SpikeRestormer在三个任务集合上都刷新了SNN方法的最佳记录，而且已经出现了接近甚至反超若干经典ANN方法的表现。这一趋势表明，SNN在底层视觉任务中的潜力远未被充分挖掘，随着训练技术和硬件生态的成熟，SNN有望在更多视觉任务中挑战ANN的主导地位。
思考：SNN在底层视觉任务中的潜力与挑战
SpikeRestormer把“事件推理”的视角带进了底层视觉，这确实是个很有价值的思路。但在欢呼之余，龙哥也想冷静说几句。
第一，训练门槛不低。SNN的训练通常需要代理梯度（surrogate gradient）或者ANN转SNN策略，超参数敏感，调参成本比标准深度学习高不少。代理梯度方法通过用一个平滑的函数近似脉冲函数的梯度，使得反向传播可以工作，但这个近似函数的形状、温度参数等都需要仔细调节。此外，SNN的时间步长选择也直接影响训练效率和最终性能，时间步长太短会导致信息不足，太长则计算开销增大。第二，推理框架还不够“平民化”。目前大多数SNN推理还是跑在GPU上，所谓“省电”更多是理论计算层面的优势；要真正兑现能耗收益，还得等神经形态芯片生态成熟。像Intel的Loihi和IBM的TrueNorth等神经形态芯片虽然已经展示了SNN的能耗优势，但其开发工具链和生态远不如GPU成熟，限制了SNN的广泛应用。第三，小波参考的通用性有待验证。SpikeRestormer在小波域里构建参考特征很巧妙，但遇到更复杂的退化类型或更高分辨率输入时，这套参考方案是否需要重新设计，目前还没有定论。例如，对于JPEG压缩伪影这类非局部退化，小波域的局部参考可能不够充分；对于4K甚至8K分辨率输入，小波变换的计算开销也会显著增加。
不过说到底，SpikeRestormer已经指明了一条值得深耕的方向：用事件推理的视角去做底层视觉，而不是简单地把ANN模块换成SNN模块。对于无人机、手机端、边缘摄像头这类资源受限场景，低功耗修复模型的价值会越来越大。未来如果能在训练方法和硬件协同上更进一步，SNN底层视觉有机会从“实验室玩物”变成“部署主力”。龙哥认为，SpikeRestormer最大的贡献不在于具体的网络结构，而在于它证明了“事件推理”这个范式在底层视觉中的可行性——这为后续研究打开了一扇新的大门。
龙迷三问
SNN为什么省电？“脉冲”到底是什么意思？SNN（脉冲神经网络）中的神经元通过离散二进制脉冲（0/1）传递信息。只有当膜电位累积超过阈值时才发放脉冲，其余时间不产生计算。相比ANN每个神经元都要做浮点乘加，SNN把大部分计算变成了稀疏的累加操作，因此能耗可以低一个量级以上。本文用到的LIF（泄漏整合发放）神经元是最常见的模型：输入被积分到膜电位上，膜电位又会随时间泄漏，一旦超过阈值就发放脉冲并重置。这种“积分-泄漏-发放”的动态过程，使得SNN在时间维度上天然具有信息处理能力，能够捕捉输入信号的时序特征。
SDEA和AREA一个用减法、一个用加法，为什么不能互换？因为两者在修复流程中的任务不同。SDEA在编码器侧，目标是把“退化带来的偏差”从场景结构中分离出来，减法（|Q−K|）天然能压制共享结构、放大分支间差异。AREA在解码器侧，目标是把“重建所需的结构与细节”尽量保留，减法会丢掉单侧激活的互补信息，加法（Q+K）则能同时保留共享与分支特有信息。论文里的定理1和定理2分别补上了两种交互在稀疏激活下的信息论依据。简单来说，编码器需要“找不同”，解码器需要“求同存异”，因此减法与加法各司其职，不可互换。
HBSM的“层次贝叶斯”怎么理解？和普通注意力有什么区别？普通注意力直接对特征加权，而HBSM把“跳连引导G_s里的每个通道到底可不可信”当作随机变量来推断。它用高斯混合模型描述不同可靠性状态的分布，还让深层的后验通过转移矩阵影响浅层的先验，这就是“层次”二字的含义。最终推断出的后验被投影为逐通道门控，相当于给每个通道打一个“可信度评分”。相比静态加权，这种动态建模能更好地应对异构退化下的不可靠脉冲响应。普通注意力是“一视同仁”地加权，而HBSM是“具体情况具体分析”——根据当前输入的特征分布动态调整每个通道的信任程度。
如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~
龙哥点评
论文创新性分数：★★★★☆
首个将SNN引入全能图像修复（AiOIR）的工作，减法/加法注意力互补设计具备信息论支撑，方向新颖、立意明确。将“事件推理”的视角引入底层视觉，为SNN在图像修复领域的应用开辟了新路径。
实验合理度：★★★★☆
在AiOIR-3、AiOIR-5和CDD11上做了充分对比，涵盖五个任务、多组SNN和ANN基线，数据翔实；但未提供与最新Mamba类AiOIR方法的对比，略有遗憾。如果能补充与Mamba类方法的对比，将更有说服力。
学术研究价值：★★★★☆
“事件推理”视角的提出，把SNN底层视觉从单任务推向统一框架，为后续研究提供了新的理论切入点和设计范式。论文中的定理1和定理2为SNN中的交互操作提供了理论指导，具有较高的学术价值。
稳定性：★★☆☆☆
方法依赖小波参考和层次贝叶斯推断，在公开数据集上表现稳定，但在极端退化、真实噪声分布下的鲁棒性尚未充分验证。例如，在极端低光或严重运动模糊的情况下，小波参考是否仍然有效，需要进一步实验验证。
适应性以及泛化能力：★★★☆☆
对多种退化任务表现出较好的适应性，但基于固定小波变换，扩展到更多退化类型或更高分辨率时，参考构建方案可能需要重新设计。对于非局部退化（如JPEG伪影）或结构化退化（如文本遮挡），小波域的局部参考可能不够充分。
硬件需求及成本：★★★★☆
推理能耗远低于同类ANN方法（AiOIR-3仅16.80mJ），但训练开销和内存成本论文中未详细说明，完整评估还需更多数据。SNN的训练通常比ANN更耗时，因为需要模拟多个时间步的脉冲发放过程。
复现难度：★★★☆☆
结构描述清晰、公式完整，但未提供源码和预训练模型，复现时需自行实现小波变换和层次贝叶斯推断，工作量不小。特别是HBSM中的高斯混合模型和转移矩阵的学习，需要仔细设计训练策略。
产品化成熟度：★★★☆☆
在专用SNN芯片成熟之前，实际部署仍需依赖传统GPU，难以完全兑现能耗优势；但作为轻量修复模块，已具备初步工程可行性。SpikeRestormer-T的极低参数量和能耗，使其在边缘设备上的部署成为可能。
可能的问题：论文没有给出与最新Mamba类方法的对比，且实验设置集中在经典数据集上。此外，省电效果主要来自理论SNN计算统计，与真实硬件上的功耗差异还需进一步验证。在GPU上运行SNN时，由于硬件架构不匹配，实际能耗可能远高于理论值。
主要参考文献
[1] Hu, S., Shao, J., Ma, J., Zhang, X., Wu, K., Zhu, Q., Song, B., & Wan, J. (2026). SpikeRestormer: Towards Energy-Efficient All-in-One Image Restoration via Unified Event Reasoning. arXiv preprint arXiv:2608.02290.
[2] Li, B., Liu, X., Hu, P., Wu, Z., Lv, J., & Peng, X. (2022). All-in-One Image Restoration Networks: A Survey. CVPR 2022.
[3] Zamir, S. W., Arora, A., Khan, S., Hayat, M., Khan, F. S., Yang, M. H., & Shao, L. (2021). Multi-Stage Progressive Image Restoration. CVPR 2021.
[4] Chen, L., Chu, X., Zhang, X., & Sun, J. (2022). Simple Baselines for Image Restoration. ECCV 2022.
[5] Song, Y., et al. (2024). ESDNet: Efficient Spiking Denoiser Network for Image Deraining. IJCAI 2024.
[6] Chen, et al. (2026). VLIF: Degradation-Aware Spiking Representations for Image Restoration. AAAI 2026.
[7] Maass, W. (1997). Networks of Spiking Neurons: The Third Generation of Neural Network Models. Neural Networks, 10(9), 1659-1671.
[8] Mou, C., Wang, Q., & Zhang, J. (2022). Deep Generalized Unrolling Networks for Image Restoration. CVPR 2022.
*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～ 想了解更多原文细节的小伙伴，可以点击"阅读原文"，查看更多原论文细节哦！
修复一张图只需16.8mJ，这波脉冲网络属实“省电天花板”。欢迎加入龙哥读论文粉丝群，
扫描下方二维码或者添加龙哥助手微信号加群：kangjinlonghelper。
一定要备注：研究方向+地点+学校/公司+昵称（如 图像处理+上海+清华+龙哥），根据格式备注，可更快被通过且邀请进群。
『龙哥读论文』微信群目前包含：图像处理、大模型及智能体、自动驾驶及机器人、AI医疗及AI金融5个群
