AFM图像又糊又慢？SPIDER自监督框架6倍加速3倍信噪比

先感受一组对比：同一张高速原子力显微镜（HS-AFM）图像，原始数据布满水平条纹和斑点噪声，肉眼几乎看不出分子结构；经过SPIDER处理后，亚纳米级表面结构和蛋白亚基清晰浮现，连单条扫描线上的高度起伏都能解析出两个独立峰。一个是SNR提升最多3倍，一个是成像速度提升最多6倍——这就是今天这篇Nature Communications论文带来的东西。

论文由Sichen Pan和Simon Scheuring完成（通讯作者为Simon Scheuring），发表在Nature Communications上，提出了名为SPIDER（Scanning Probe Microscopy Image DEnoising and Restoration）的自监督深度学习框架。它不需要任何干净标签，仅凭AFM扫描中天然存在的trace-retrace图像对，就能把噪声和伪影从原始数据里剥离。

AFM成像的痛点：噪声、伪影与速度的三角困境

原子力显微镜（AFM）是扫描探针显微镜家族中最常用的成员。它不靠"看"，而是靠一根纳米级尖锐的探针在样品表面"摸"。探针悬臂梁的振动幅度随样品表面起伏而变化，反馈系统实时调整探针高度，逐点构建出样品的表面形貌图。这种机械式探测方式，让AFM能在液体环境中对生物样品达到亚纳米级的垂直分辨率。

但AFM有一个"与生俱来"的局限——慢。图像不是一次曝光拍出来的，而是探针一行一行扫出来的。在标准栅格扫描模式下，探针先沿快轴从左到右扫描一行（称为trace），再立即从右到左扫回来（称为retrace），然后沿慢轴移动到下一行。这样一来，同一空间位置会被扫两次，产生两幅图。理想情况下，trace和retrace应该完全一致，这就构成了一对天然的空间冗余数据。

然而实际采集到的AFM图像通常包含三类干扰：一是零均值随机噪声；二是与扫描方向高度相关的条纹噪声，这类结构化噪声违反了像素间噪声独立的基本假设，让许多传统去噪算法无从下手；三是降落伞伪影（parachuting），当样品表面高度在扫描方向上急剧下降时，高速运动的探针来不及跟随表面轮廓，会短暂脱离样品表面，造成该区域的测量值饱和，图像信息完全丢失。降落伞伪影的方向与扫描方向绑定——trace图像中它出现在突起结构的右侧，retrace图像中则出现在左侧。

传统处理手段大多是低通滤波或插值，效果有限。多帧平均能提升信噪比，但对动态过程无能为力——一旦分子在运动，平均出来的结果必然是模糊的。那么，能不能既不去平均、又不需要干净标签，就从trace-retrace这对天然冗余数据里学到真正的去噪模型？这正是SPIDER的回答。

图1a：HS-AFM栅格扫描成像原理。探针沿快轴从左到右（橄榄色线）和从右到左（靛蓝色线）扫描，再沿慢轴移动到下一行，生成同一区域的trace和retrace两幅图像。

SPIDER登场：巧用trace-retrace空间冗余实现自监督去噪

理解SPIDER的钥匙是2018年提出的Noise2Noise（N2N）思想。Lehtinen等人证明了一个反直觉的结论：如果两幅噪声图共享同一个底层信号、且噪声相互独立并满足零均值，那么训练一个神经网络把一个噪声图映射到另一个噪声图，最终学到的其实就是"去噪"本身——因为在无限数据的期望下，那部分独立的零均值噪声会被平均掉，网络只能学到信号本身。

N2N的理念非常优雅，但关键在于上哪儿找"成对的噪声图"。对于普通照片，这几乎不可能；对显微镜来说，荧光显微镜可以拍两帧，电子显微镜可以通过分割探测器实现配对，但AFM的trace-retrace图像对是同一次扫描中天然产生的——同一个样品区域，几乎相同的时刻，两幅独立噪声的观测值。这正是N2N最理想的数据来源。

为什么不能直接套用已有的自监督去噪方法？论文里给出了清晰的解释：像盲点方法（blind-spot）这类策略，假设某个像素的噪声可以由周围像素推断出来。但AFM的条纹噪声是结构化的、与扫描方向高度相关，根本不满足噪声独立的假设。SPIDER绕开了这个限制——它不依赖单幅图像内的空间独立性，而是直接利用trace和retrace两幅图之间的对应关系。

值得注意的是，SPIDER是模型无关的，论文中直接采用了经典的2D U-Net网络结构，换用Transformer等更现代的结构也完全可行。整个框架把问题拆解为三个层次逐步解决。

图1b：基于trace和retrace的磁滞校正步骤。对trace和retrace的标准化列计算余弦相似度并转换为注意力分数，作为拟合权重获得亚像素采样的磁滞曲线，再通过交叉线性插值将trace与retrace的列配对。

三大模块协同：磁滞校正、去噪与等变恢复

SPIDER整体框架包含三个核心模块：磁滞校正、自监督去噪与最小投影、等变图像恢复。

模块一：磁滞校正

trace和retrace虽然扫的是同一空间区域，但压电陶瓷的响应存在延迟和非线性，尤其是在高频扫描时，导致两幅图在x方向上存在亚像素级的空间错位。这个错位如果不校正，直接丢给N2N训练会引入误差。

磁滞校正模块的处理方式很有意思：把trace图像的每一列当作查询（query），retrace图像的每一列当作键（key），计算列与列之间的余弦相似度，再通过softmax转换为注意力分数。这些注意力分数代表了"trace的某一列和retrace的某一列属于同一个真实x位置"的概率。然后用这些分数作为权重，对列的位置做二次多项式拟合，估计出磁滞曲线的亚像素偏移量。有了这条拟合曲线，trace和retrace的每一列都能被精确对准。

注意力分数计算的核心公式。这里的K（键）来自retrace图像的标准化列，Q（查询）来自trace图像的标准化列，Sij表示第i个retrace列与第j个trace列之间的相似度得分。

对注意力得分进行softmax归一化，得到每个trace列对应到各retrace列的概率权重，t是温度参数。归一化后的权重用于后续的二次拟合。

模块二：自监督去噪与最小投影

磁滞校正后，trace和retrace在亚像素级别精确对齐，就可以直接作为N2N训练对使用了。SPIDER训练了两个独立的DNN模型：r2t模型以retrace图像为输入，输出对trace的估计；t2r模型与之相反，以trace图像为输入，输出对retrace的估计。损失函数就是简单的L2距离。

t2r和r2t两个方向的损失函数定义。fθ和fθ'分别代表两个独立训练的网络参数，T和R分别代表trace和retrace图像。每个网络都只在一个方向上进行映射，避免了两者共享参数可能带来的偏差。

为什么要训练两个方向的模型？关键是降落伞伪影的方向性。如前所述，trace中的降落伞出现在突起结构的右侧，retrace中出现在左侧。如果只用r2t一个方向，虽然噪声被去除了，但降落伞伪影的形状也会被保留，只是方向被"翻转"了。论文发现，r2t和t2r两个模型的输出中，降落伞伪影出现在相反方向。于是，对两个输出逐像素取最小投影，就能把降落伞伪影区域的值压低，从而同时实现去噪和伪影消除。

最小投影公式：逐像素比较fθ(T)和fθ'(R)的输出值，取较小者作为最终结果Iij。由于降落伞区域在trace和retrace中方向相反，最小值操作可以保留真实信号并抑制伪影。

此外，为了抑制深度网络训练中的认知不确定性（epistemic uncertainty），SPIDER还采用了bagging集成学习：独立训练三次，取平均值作为最终输出，有效减少了模型初始化带来的随机波动。

模块三：等变恢复

第三个模块解决的是一开始提到的速度问题。栅格扫描中，慢轴方向的扫描行数决定了成像时间。如果我们能每隔几行跳过一次扫描，成像速度就能成倍提升，但代价是慢轴分辨率下降。传统思路是事后插值，但插值只能"填充"，不能"恢复"——真实的空间信息在采样时就丢失了。

SPIDER提出了一个巧妙的自监督等变恢复方案。对于大多数生物样品，分子在膜上是随机取向的，因此图像的空间信息在快轴和慢轴方向上具有统计一致性——也就是等变性（equivariance）。算法首先用跳线后的欠采样图像I，经网络fθ上采样得到第一幅输出O1，然后施加与降采样模式A相同的掩膜，得到M1与原始输入I比较计算一致性损失Lc；接着把O1旋转90度（即把快轴信息转为慢轴信息），同样施加掩膜A得到M2，再经同一个网络恢复出O2，与旋转后的O1比较得到等变损失Le；两者加权求和，共同驱动网络更新。

等变恢复的总损失由一致性损失Lc和等变损失Le线性组合而成，λ控制两者的权重。其中A表示掩膜操作符，T表示图像旋转90度的变换操作符。这个设计让模型能从快轴的高分辨率空间信息中学习重建慢轴缺失的信息。

如果先把含噪声的原始跳线图直接送入等变网络，由于条纹噪声和降落伞伪影是高度方向性的，快轴方向的信息根本不可靠，等变假设被破坏。但如果先经过SPIDER的去噪模块，把方向性伪影清理干净，快轴方向的空间信息就变得可信了。因此，SPIDER的去噪是等变恢复的前提，两者缺一不可。

图1c：磁滞校正后的trace和retrace作为图像对输入DNN。模型分别训练t2r（基于retrace去噪trace）和r2t（基于trace去噪retrace），可选地使用集成学习进一步提高性能，最后通过t2r和r2t输出的最小投影去除降落伞伪影。

实验验证：从膜蛋白到脆弱结构的亚纳米级动态观测

实验环节，论文选了两种极具代表性的生物样品：Annexin V（A5）和VIPP1。前者是膜蛋白标准样品，结构稳定，适合定量对比；后者是高度动态的脆弱蛋白聚合物，能充分检验SPIDER在低信噪比条件下对动态过程的解析能力。

Annexin V定量对比：SSIM与PSNR全面领先

论文将SPIDER与两种自监督盲点去噪方法——Structured Noise2Void（structN2V）和SHINE——进行了公平对比。structN2V是Noise2Void的结构化噪声扩展版，SHINE是为电子显微镜设计的高通量自监督去噪网络。对比中，三种方法都各自处理trace和retrace，再用最小投影生成最终输出。

定量指标上，论文计算了SSIM（结构相似性指数）和PSNR（峰值信噪比）两个标准图像质量指标。从结果来看，SPIDER在两项指标上均显著优于structN2V和SHINE，同时与原始噪声数据相比，SSIM提升了0.4，PSNR提升了3.4dB。

图2：SPIDER性能评估。a为不同自监督方法的去噪效果对比，从左到右依次为：含噪原始HS-AFM图像（trace与retrace）、真实值（GT）、structN2V、SHINE和SPIDER的去噪结果；b-d为SSIM、PSNR和自监督损失的定量对比（n=4，单侧配对t检验+Bonferroni校正）；e-f为不同数据量、增强策略和集成学习组合下的SSIM与PSNR；g-h为不同成像条件下的SSIM与PSNR表现。

视觉对比更直观：structN2V的结果中能明显看到重建伪影，SHINE的结果里仍然残留条纹噪声，而SPIDER的结果干净且细节完整。尤其值得注意的是，在A5晶格中心有一个非p6三聚体，由于具有旋转自由度，在GT图像中因为时间平均而呈现为六聚体的形状。而三种自监督方法都能在单帧中分辨出这个三聚体的三个亚基——这恰恰体现了自监督方法"不损失时间分辨率"的核心优势。

数据增强策略也值得一说。常规的随机翻转和旋转增强对AFM数据是无效的——因为噪声和降落伞伪影都是有方向的，翻转会改变伪影的方向特性。SPIDER提出了一种独特的增强方式：把trace和retrace同时旋转180度，互换输入输出方向再次训练。这样既增加了数据多样性，又保持了噪声和伪影的方向性，还顺便避免了翻转操作改变分子的手性（handedness）。实验证明这种方式显著提升了性能。

VIPP1脆弱蛋白动态观测：低力成像+亚纳米结构解析

VIPP1是一种能在膜上形成丝状、螺旋状、多边形、片状等多种聚合物结构的蛋白，在维持细胞光合作用膜结构方面扮演重要角色。VIPP1纤维高度动态，如果靠多帧平均来提升SNR，平均的结果必然模糊。而如果提高成像力来获得高SNR，又会破坏VIPP1丝束之间的横向相互作用。这是一个典型的"两难"场景。

SPIDER允许研究者在低力条件下成像，再通过算法把信噪比"找回来"。论文在10帧每秒的采集速度下，连续记录了200帧VIPP1片层结构的低力HS-AFM数据，经SPIDER去噪后发现，原本被噪声淹没的α5螺旋脊状结构清晰可辨，与低温电镜密度图（EMD-18620）中的结构特征高度吻合。

图3：SPIDER揭示VIPP1片层结构的亚纳米动态形貌。a为原始含噪HS-AFM图像；b为SPIDER去噪后的图像；c为同一区域在高力条件下成像的结果（50帧内丝束间横向相互作用被破坏）；d为VIPP1片层的低温电镜密度图（EMD-18620），箭头指示α5螺旋形成的周期性脊状结构；e-f为去噪后与原始图像的单帧三维点云对比；g为Otsu阈值分割；h为高度分布直方图；i为线剖面分析；j为沿虚线位置的动态kymograph；k为kymograph的平均自相关函数。

高度分布分析进一步验证了SPIDER的准确性：原始图像中，噪声把不同结构域的高度分布混成一个宽峰，无法区分；SPIDER去噪后，出现了明显的双峰分布，两个峰的峰值位置分别为-0.04nm和0.05nm，与原始数据中对应分割区域的峰值位置（-0.05nm和0.05nm）高度一致。这意味着SPIDER在去噪的同时，没有扭曲真实的拓扑高度信息，只是把被噪声掩盖的结构区分开了。

基于去噪后的高质量图像序列，研究者还绘制了相邻VIPP1丝束之间的动态kymograph，观察到丝束之间反复发生的横向结合与解离事件，平均停留时间约为1.0±0.4秒。这种级别的动态分析在原始数据中几乎不可能完成，因为单帧噪声实在太大了。

加速成像新范式：6倍提速与3倍信噪比提升

论文对等变恢复模块进行了系统性的定量评估。方法是先对全采样数据进行6倍慢轴降采样，模拟跳线扫描的欠采样场景，然后分别用SPIDER等变网络、双三次插值和有监督网络进行恢复。

图4：SPIDER提升HS-AFM数据的等变图像恢复。a为自监督HS-AFM缺失扫描线恢复示意，白色框为实验采集像素，灰色区域为跳过的扫描线（或在后处理中掩膜的区域），橄榄色和靛蓝色框为DNN生成的像素值；b为慢轴6倍降采样图像在不同方法下的恢复结果对比，附有归一化功率谱和线剖面。

结果体现在两个层面。第一，从地形剖面来看，无噪/去噪后的图像在恢复后能清晰分辨两个亚基的特征峰，而有噪数据的恢复结果两个峰合并成了一个——噪声破坏了快慢轴的空间信息一致性。第二，从傅里叶频谱来看，原始噪声图像的频谱在水平方向几乎没有功率（对应慢轴方向的信息丢失），SPIDER去噪后这部分信息被恢复，等变网络也进一步拓宽了慢轴方向的有效频带。

进一步，论文还测试了2倍到12倍不同降采样因子下的恢复效果。结果显示，即使在12倍降采样下，SPIDER恢复的图像中A5亚基间距仍然可以被分辨，而双三次插值在6倍时就已明显失效。有趣的是，在相同慢轴采样密度下，快轴采样密度更高的图像经恢复后获得的去相关分辨率更好——这意味着恢复质量直接受益于快轴方向提供的高分辨率空间信息。

图5：不同慢轴降采样倍数下HS-AFM数据的等变恢复结果。a为不同降采样倍数（2到12倍）的实验欠采样图像及其恢复结果，其中品红色框为旋转中的非p6三聚体及连续帧，青色框为相邻A5亚基的界面；b为自相关值的一阶导数（ACV）分析，证实2倍到12倍降采样恢复后的图像与全采样图像包含相似的空间信息；c为基于去相关分析的分辨率评估，显示快轴采样密度越高，恢复图像的分辨率越好。

综合来看，SPIDER实现的"6倍提速"并不是以牺牲空间分辨率为代价的：在6倍跳线扫描下，等变恢复仍然保留了亚基级别的结构解析能力。加上去噪带来的3倍信噪比提升，SPIDER同时推进了SPM成像的空间分辨率与时间分辨率边界。

局限与展望：SPIDER的边界与未来方向

SPIDER在AFM图像去噪和加速两个维度上都交出了亮眼的答卷，但论文中也坦诚指出了几个边界条件。

第一个限制是数据来源的依赖性：SPIDER要求每次成像都同时保留trace和retrace两幅图像。如果扫描配置被设置为只保存其中一幅图，那么整个自监督框架就失去了数据基础。第二个限制是时间尺度：trace和retrace的行间时间间隔比帧间时间间隔快约300倍，因此SPIDER的有效性隐含了"样品在trace和retrace采样的时间尺度内基本不变"的假设。对于极其快速的动态过程，这个假设可能不成立。第三个限制是验证范围：论文的验证集中在HS-AFM的膜蛋白样品上。对于其他SPM模式（如扫描隧道显微镜STM、扫描近场光学显微镜SNOM）、其他类型样品（如材料表面、聚合物膜），SPIDER的迁移效果需要进一步验证。

往前看，SPIDER还有不少可以延展的方向：模型结构可以替换为Transformer或Mamba-based架构以获得更强的表达能力；可以探索将等变恢复与去噪模块端到端联合训练；还可以把SPIDER扩展到多维SPM成像，比如同时采集形貌图和相位图，让不同通道的信息互相支撑。最重要的是，SPIDER为商业AFM设备的软件系统提供了一个低门槛的算法模块：不需要改动硬件，不需要训练数据积累，每一次普通的扫描都能同时产出更干净的图像和更高的成像速度。

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：

这篇论文到底在解决什么问题？康奈尔大学提出SPIDER，利用原子力显微镜双向光栅扫描的trace-retrace空间冗余，无需干净真值即可自监督去噪，信噪比最高提升3倍、成像速度加速6倍，并支持低外力下脆弱蛋白的亚纳米结构观测。

这篇工作最值得看的点是什么？SPIDER在SSIM和PSNR上均优于structN2V和SHINE，相比原始数据SSIM提升0.4、PSNR提升3.4dB；实现最高3倍信噪比提升和6倍成像速度加速；等变恢复效果与监督学习相当。

这篇工作的边界或风险在哪里？优点：1) 利用SPM固有trace-retrace空间冗余，无需干净标签和大量训练数据；2) 同时解决磁滞、随机噪声和parachuting伪影；3) 可推广到其他SPM模态；4) 实现低力成像和高速成像。缺点：1) 未利用帧间时间信息；2) CNN偏向低频特征；3) 无法解决针尖卷积和双针尖伪影；4) 对需要trace-retrace配对数据的模态需额外处理。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★★☆

核心思想是N2N思路在SPM领域的巧妙落地，但并非从零开山；真正的创新在于把"trace-retrace空间冗余"这个SPM固有属性系统性利用了，三大模块的串联设计完整且有逻辑。

实验合理度：★★★★☆

对比方法选择合适，量化指标充分，还额外排查了数据量、增强策略、成像参数等变量。GT的构建方式（多帧平均）可能对盲点类方法不太友好，但论文中已经做了充分说明。

学术研究价值：★★★★★

把SPM的数据特性与自监督学习成功结合，为显微成像领域的去噪问题提供了一个不依赖Groud Truth的新范式，对其他依赖扫描成像的领域也具备迁移参考价值。

稳定性：★★★★☆

在不同数据量、不同增强策略、不同成像参数下均表现出一致的性能提升。对trace-retrace配准质量的依赖是潜在弱点，在极端噪声下的鲁棒性有待更多数据验证。

适应性以及泛化能力：★★★★☆

模型无关的设计让网络结构可以灵活替换，框架本身适用于所有具备trace-retrace双扫描模式的SPM技术。迁移到非SPM成像模态需要重新设计配对数据来源。

硬件需求及成本：★★★★☆

NVIDIA TITAN X 12GB即可运行，训练时间在可接受范围内，还提供了Google Colab笔记本。推理阶段的计算开销远小于多数大模型应用。

复现难度：★★★★☆

GitHub仓库提供了完整代码、依赖列表和示例数据，环境配置直观，按照README操作即可跑通核心流程。

产品化成熟度：★★★☆☆

对AFM设备厂商和高端科研实验室来说已经具备实用价值，可以以软件模块的形式集成到成像控制系统中。但要变成面向普通用户的"傻瓜式"功能，还需要解决参数自适应、多品牌设备适配等工程问题。

可能的问题：GT构建依赖多帧平均后再最小投影，对动态样品中运动区域的评估存在一定偏差；对trace-retrace配准失败的极端场景（如超大滞后或非线性畸变）缺乏专门分析；等变恢复在不同生物样品（非随机取向样品）上的适用性还需要更多实验支撑。

主要参考文献

[1] Pan S., Scheuring S. Self-supervised image denoising and restoration method for atomic force microscopy. Nature Communications, 2026.

[2] Lehtinen J., et al. Noise2Noise: Learning Image Denoising without Clean Targets. ICML 2018.

[3] Krull A., et al. Noise2Void: Learning Denoising from Single Noisy Images. CVPR 2019.

[4] Broaddus C., et al. Structured Noise2Void. ISBI 2020.

[5] 开源代码：https://github.com/psichen/SPIDER