← 返回 PaperDaily
视觉与图像
真实模糊场景里，JADE-GS为何更稳？
高速运动把图像“拍糊”这件事，常见到让人麻木，但真要把它从3D重建里彻底修好，难点就来了。JADE-GS的思路很直接：让事件相机补时间信息，再让3D几何反过来约束2D去模糊，效果和效率都比单向流水线更像样。
龙哥读论文
发布于 2026-08-20 00:20:04
阅读 5
查看原文
原论文信息如下：
从模糊噪声到锐利几何：JADE-GS如何用事件相机重塑3D世界？ 一张糊掉的照片，单看像是“小翻车”；放到三维重建里，事情就不只是丢点细节那么简单了。模糊会把相机在曝光期间的运动轨迹一起抹平，3D模型想知道“相机到底怎么动过”，只能对着一团灰影猜谜。JADE-GS的聪明之处就在这里：它不再死磕一张模糊图，而是把事件相机拉进来当“时间证人”，再让3D几何反过来约束2D去模糊，形成一个互相纠错的闭环。结果很直接——既要清晰，也要快，还不能把显存吃成自助餐。
先把背景说人话。事件相机
论文的核心任务，是把模糊帧和事件流一起用起来，恢复出适合3D Gaussian Splatting的清晰视图。这里的3D Gaussian Splatting 3DGS
这篇工作真正解决的，不是“能不能去模糊”这种老问题，而是“去模糊的结果，能不能真的帮3D重建变好”。很多方法把2D去模糊当预处理，先修图再喂给3D模型，听起来很顺，实际上问题很大：2D模型修坏的边缘、漂移的纹理、事件噪声带来的伪影，都会被3D模型当成真相吸收进去。于是，错误不是被消灭了，而是被3D结构“永久收藏”了。
JADE-GS的思路更像“边修边验”。它先用事件物理模型提供结构边缘，再用学习型网络补纹理，最后让3D几何站出来做裁判：哪些细节真能跨视角成立，哪些只是单张图上的幻觉。这个闭环一旦跑通，2D不再是固定预处理，3D也不再只是被动消费者，而是一起进化的搭档。🤨
左右互搏：揭秘双向教师-学生循环如何让2D和3D协同进化 很多“联合方法”其实只是把两个模块串起来，像流水线上拧螺丝：前面修一下，后面接着用，出了问题也没人回头看。JADE-GS不是这样，它采用的是双向教师-学生循环。教师负责生成伪清晰图，学生负责把它变成真正可渲染、可多视角一致的3D场景；而学生渲染出来的结果又会反过来影响教师。这个设计最妙的地方在于：3D几何不只是结果，还是监督信号
这里的教师是2D去模糊器，学生是3DGS。前向过程很直白：模糊帧和事件先经过路由门控融合，再送入冻结的EFNet细化，得到伪清晰图；这张图监督3DGS去拟合清晰视图。反向过程更有意思：把3DGS的渲染结果从梯度图里“摘出来”，再通过物理重模糊模型重新模糊回去，和真实模糊帧做对齐。只要重模糊后的结果对不上原始模糊图，教师就得继续改。
这个循环之所以成立，是因为它并没有让网络凭空“脑补”。学生看到的是多视角一致的几何约束，教师看到的是物理上必须能回到模糊观测的重模糊约束。一个管“别乱编”，一个管“别偏离证据”，两边一起卡住，训练就不容易跑飞。论文里还专门说明了，冻结的EFNet不会被反向梯度改坏，真正被更新的是路由门控，所以系统的学习重点不是“推翻先验”，而是“重新分配先验在每个像素上的话语权”。
为了更清晰地理解这个循环，我们可以拆解一下每一步的输入输出。教师模块的输入是模糊RGB帧、事件体素网格（Voxel Grid）以及EDI（Event Double Integral）初始化结果。事件体素网格是将曝光窗口内的事件按时间戳和极性累积到三维张量中，它保留了运动的时间结构。EDI则是一种基于事件积分的物理先验，它通过正向和反向积分事件流来估计清晰帧的梯度。教师模块内部，一个轻量级的门控网络（Gating Network）首先根据这些输入预测一个像素级的路由权重图α。这个α图随后用于融合EDI先验和原始模糊RGB帧，得到一个初步的融合结果。这个融合结果再被送入一个冻结的、预训练好的EFNet（Event-based Fusion Network）进行纹理细化，最终输出伪清晰图。学生模块的输入就是这个伪清晰图，它作为监督信号来训练3DGS模型。3DGS模型从随机初始化的高斯点集开始，通过可微渲染得到清晰视图。这个渲染结果一方面与伪清晰图计算图像损失，另一方面被送入一个物理重模糊模块。重模糊模块利用事件信息模拟曝光过程，将清晰渲染图重新模糊化，并与原始的模糊帧计算重模糊损失。这个重模糊损失的梯度会反向传播，但只更新教师模块中的门控网络，而不影响冻结的EFNet。这样一来，教师模块就能从3D几何的反馈中学习如何更好地融合先验。
这种设计的一个关键优势在于它打破了传统流水线中信息单向流动的局限。在传统方法中，2D去模糊器一旦训练完成，其参数就固定了，它无法感知后续3D重建任务的需求。例如，一个2D去模糊器可能会为了追求像素级的PSNR指标而过度平滑纹理，这在2D图像上看起来可能不错，但会导致3D重建出的表面缺乏细节。而在JADE-GS中，如果3DGS发现某个区域的纹理在多个视角下无法一致地渲染出来，它就会通过重模糊损失反馈给教师模块，促使门控网络在该区域更多地依赖能够保留边缘信息的EDI先验，而不是过度依赖可能产生平滑效果的EFNet。这种动态调整能力是JADE-GS能够取得优异性能的核心原因。
像素级智慧：一个轻量级门控网络如何融合物理与学习的去污先验？ JADE-GS没有把“物理模型”和“神经网络”硬拧成一团，而是先承认两者各有短板，再让一个很轻的门控模块决定每个像素该听谁的。这里的物理先验是EDI，英文全称是Event Double Integral 事件双积分 Event-based Fusion Network 基于事件的融合网络
门控网络本身很小，只有约1.1万可训练参数，结构也不花哨。输入是模糊RGB、EDI结果、浅层事件特征和浅层图像特征拼起来的多通道表示，输出是每个像素一个路由权重α。α接近1时，说明这里更该信EDI；α接近0时，说明这里更该相信原始RGB或让学习分支来补。这个设计的好处很明显：它不是全图一刀切，而是把“哪里该锐、哪里该稳、哪里该补纹理”交给像素自己决定。
论文里对门控的可解释性做了可视化。高对比边缘、运动边界、事件响应强的区域，门控会更偏向EDI；平坦区域或事件不稳定区域，则更偏向RGB观测，避免把积分噪声当成细节。这个结果挺关键，因为它说明门控不是玄学，不是在“瞎挑”，而是在按场景内容做内容感知路由。像素级门控
具体来说，门控网络的输入是一个拼接后的多通道张量，其通道维度包括：原始模糊RGB图像的3个通道、EDI输出的3个通道、从事件体素网格中提取的浅层特征（例如通过一个小的卷积层得到的边缘响应图）以及从模糊RGB图像中提取的浅层特征（例如通过另一个小卷积层得到的纹理复杂度图）。这个张量经过一个由几个卷积层和激活函数组成的轻量级网络，最终通过一个Sigmoid函数输出一个单通道的α图，其值在0到1之间。最终的融合结果可以表示为：融合结果 = α * EDI + (1-α) * 模糊RGB。这个融合结果随后被送入EFNet进行进一步的纹理增强。值得注意的是，EFNet本身是一个预训练好的、参数冻结的网络，它不会在JADE-GS的训练过程中被更新。这意味着EFNet作为一个强大的纹理先验提供者，其能力被固定下来，而门控网络则负责学习如何最好地利用这个先验以及物理先验EDI。这种设计既利用了EFNet的强大能力，又避免了在联合训练中可能出现的灾难性遗忘或过拟合问题。
不仅仅是一张图：3D感知的反向传播如何成就最清晰的重建？ 很多2D去模糊方法的问题，不在于它们不会修，而在于它们不知道“修出来的图能不能在三维里站住”。JADE-GS把这个问题直接搬进训练环里：3DGS学生渲染出来的视图，先作为多视角一致性的证据，再通过停止梯度的方式回传给教师。换句话说，教师不是只看一张伪清晰图，而是要面对“这张图在别的视角下还成立吗”这个更残酷的问题。
这一步的关键约束有两个。第一是学生渲染结果和教师伪标签之间的图像监督，它保证重建出来的3D视图在外观上别跑太偏。第二是物理重模糊约束
原文里还给出了重模糊过程的核心思想：事件在曝光窗口内按时间分桶累积，曝光前后按中点对称地进行正向和反向积分，再把结果和模糊帧对齐。这个设计的直觉很简单——如果一个“清晰候选”真的是对的，那么把它按真实曝光过程再糊回去，应该能回到原始观测。回不去，就说明候选里有问题。这样一来，3D几何不只是被动接受2D标签，而是参与了标签的自我审查。
论文还特别说明了为什么这个循环不会塌掉。因为有三根“外部支柱”把系统钉住：原始模糊帧始终参与路由和重模糊约束；事件流通过EDI和EFNet条件输入持续提供观测；冻结的EFNet不会被反向梯度污染。于是，门控只能在两个物理上合理的假设之间做重加权，不能凭空造内容。这个边界感很重要，很多“联合优化”一不留神就把自己训练成了“联合幻觉”。
为了更具体地说明重模糊约束，我们可以看一下它的数学形式。假设曝光时间为T，我们将T均匀划分为N个时间片。对于每个时间片i，我们可以根据事件流计算出该时间片内的累积事件，从而得到一个描述运动轨迹的模糊核。3DGS渲染出的清晰图像I_clear，经过这个模糊核的卷积，得到重模糊图像I_reblur。重模糊损失L_reblur就是I_reblur与原始模糊图像I_blur之间的L1距离或感知距离。这个损失函数直接惩罚了那些虽然看起来清晰，但无法通过已知运动轨迹重新生成原始模糊图像的伪清晰图。例如，如果教师模块错误地恢复了一个不存在的纹理细节，那么这个细节在重模糊过程中会产生与原始模糊图不匹配的伪影，从而导致L_reblur增大。通过最小化L_reblur，教师模块被迫生成与物理观测一致的清晰图像，从而抑制了幻觉的产生。
麻雀虽小五脏俱全：一小时训练，5GB显存，实时渲染的奥秘 很多人看到“事件+3D重建+双向循环”，第一反应是：这玩意儿是不是巨吃显存、巨难训、巨难复现？JADE-GS偏偏把这三个最让工程师皱眉的点都压住了。训练到论文报告的40k检查点，大约只要1.1小时，峰值显存约4到5GB；完整60k训练也不过1.65小时，推理阶段则直接扔掉2D教师，保留原生3DGS的实时渲染速度，100FPS以上不是问题。
这个效率不是“把模型砍瘦了就完事”，而是架构决定的。首先，3DGS本身比NeRF类方法更轻，渲染也更快；其次，教师里的EFNet是冻结的，不参与大规模更新；再次，真正可训练的额外部分只有一个很小的门控网络。换句话说，系统的大头还是3D高斯点本体，2D模块更像是带着工具箱来帮忙，不是来抢饭碗的。
这类设计对实际落地很友好。因为很多工业场景并不缺“能跑的论文代码”，缺的是“能在一张普通卡上稳定跑、还能保住效果”的方案。JADE-GS把训练成本压下来，意味着它不只适合实验室，也更接近工程试用。虽然它还不是那种“拿来就能打所有场景”的万能钥匙，但至少不再像某些方法那样，先把部署门槛抬到天上，再让人站在下面鼓掌。
从具体的硬件配置来看，论文中报告的实验是在一张NVIDIA RTX 3090 GPU上完成的。训练一个场景大约需要1.1小时达到40k迭代，1.65小时达到60k迭代。峰值显存占用约为4.5GB。作为对比，一些基于NeRF的事件去模糊方法，如ENeRF，其训练时间可能长达数小时，且显存占用经常超过10GB。JADE-GS之所以能如此高效，除了上述架构原因外，还得益于其高效的实现。例如，门控网络和重模糊模块都非常轻量，计算开销极低。而3DGS本身的高效渲染管线也功不可没。在推理阶段，由于不再需要教师模块，整个系统退化为一个标准的3DGS模型，因此可以轻松实现超过100 FPS的实时渲染速度，这对于AR/VR、机器人导航等实时应用至关重要。
不只是速度与激情：JADE-GS在真实与合成场景中的王者表现 实验部分最值得看的，不是某一个数字“爆了”，而是它在两个不同性质的基准上都站住了：一个是真实场景 EvDeblur-CDAVIS，一个是合成场景 EvDeblur-Blender。真实数据里，噪声、曝光不稳定、事件阈值偏差都更麻烦；合成数据里虽然干净，但也更容易暴露方法是不是只会“吃熟题”。JADE-GS两边都拿到了很强的感知指标，说明它不是只在某一种数据分布里讨巧。
更有意思的是，论文并没有只盯着PSNR这种传统指标。因为在去模糊和重建任务里，PSNR有时会偏向“像不像像素平均值”，但人眼和实际应用更在意边缘、纹理和整体观感。所以作者同时看LPIPS和CLIP-IQA等感知指标，这一点是对的：如果看起来更糊，哪怕PSNR高一点，也未必真赢
消融结果尤其说明，几何反馈
消融实验的设计非常系统。作者逐步添加了三个关键组件：1) 像素级路由门控（Gating）；2) 物理重模糊约束（Reblur）；3) 3D几何反馈（3D Feedback）。基线模型是直接将模糊帧和EDI的简单平均结果作为伪标签来训练3DGS。当只加入门控时，性能略有提升，说明自适应融合比固定融合更好。当再加入重模糊约束时，性能进一步提升，这表明物理一致性约束有效地抑制了伪影。最后，当完整的3D几何反馈（即通过停止梯度将3DGS的渲染结果回传给教师）被加入时，性能达到了最优。这个逐步提升的过程清晰地证明了每个组件的必要性。特别是，3D几何反馈带来的提升最为显著，这强有力地支持了论文的核心论点：3D几何信息是提升2D去模糊质量的关键。
表4：CDAVIS上不同迭代检查点的评估。结果显示模型在中期后逐步稳定，说明40k作为统一检查点是有依据的，不是随便挑一个“看起来差不多”的时刻。
从实验设计上看，这篇论文也比较讲规矩。它沿用了公开基准、统一的COLMAP位姿协议，没有偷偷给自己加额外位姿优化；对比方法也覆盖了“纯2D预处理+3DGS”“纯帧方法”“事件驱动联合方法”等几条路线。这样一来，结果的说服力就不是靠挑对手，而是靠真正把问题链路打通了。
当然，边界也写得很清楚。它主要面向静态场景下的自运动模糊；如果场景里有大范围独立运动物体，或者强反射高光、位姿误差很大，3D一致性就会变差，反向反馈也会被带偏。也就是说，这套方法不是“所有模糊场景通吃”，而是把静态场景里最难啃的那块骨头啃得更干净。这个诚实程度，比很多只会在摘要里喊口号的方法强多了。😏
龙迷三问 这篇论文到底解决了什么问题？
EDI和EFNet分别是什么意思？
为什么一定要让3D结果反过来约束2D？
如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~
龙哥点评 论文创新性分数： ★★★★☆
把“2D去模糊”和“3D重建”做成双向闭环，这个思路不算空前，但把像素级路由、冻结先验和3D反馈整合得这么紧，还是挺像样的。实验合理度： ★★★★☆
公开基准、统一位姿、对比路线完整，消融也能把关键模块拆清楚。唯一要留意的是，真实场景里依然受位姿误差和高光歧义影响。学术研究价值： ★★★★☆
它把事件相机、3DGS和教师-学生互相约束这三件事串成了一个闭环，对后续做事件引导的3D恢复很有参考价值。稳定性： ★★★☆☆
静态场景下表现不错，但遇到动态物体、强反射和位姿噪声，反馈链条会明显变脆。适应性以及泛化能力： ★★★☆☆
对同类运动模糊场景适应性较好，但本质上还是围绕静态场景和事件相机数据展开，泛化边界比较明确。硬件需求及成本： ★★★★☆
这一项很加分。单卡消费级GPU、约1小时训练、4到5GB显存，工程门槛比很多事件NeRF方案低得多。复现难度： ★★★★☆
代码已开源，基准和协议也比较清楚，复现难度不算高；主要麻烦在事件数据处理和3DGS训练细节。产品化成熟度： ★★★☆☆
在静态高速运动场景里有实际价值，适合做研究原型或特定行业方案；离“通吃所有真实复杂场景”还有距离。可能的问题： 对动态物体、强高光和位姿噪声仍敏感，说明方法强在闭环设计，但边界条件并没有被彻底消灭。
主要参考文献
[10] Pan, L.; Scheerlinck, C.; Yu, X.; Hartley, R.; Liu, M.; and Dai, Y. 2019. Bringing a Blurry Frame Alive at High Frame-Rate with an Event Camera. CVPR. [11] Sun, L.; Sakaridis, C.; Liang, J.; Jiang, Q.; Yang, K.; Sun, P.; Ye, Y.; Wang, K. Event-based Fusion Network for Motion Deblurring. (原文引用) [2] Kerbl, B.; Kopanas, G.; Leimkühler, T.; and Drettakis, G. 2023. 3D Gaussian Splatting for Real-Time Radiance Field Rendering. ACM TOG. 论文链接：https://arxiv.org/pdf/2607.14990v1.pdf 代码链接：https://github.com/rootlesswater/JADE-GS 看完JADE-GS，应该能感觉到：事件相机不是“锦上添花”，而是给3D去模糊补上了最缺的那块时间信息。想继续追这种能落地、讲工程、看结果 的论文解读，欢迎加入龙哥读论文粉丝群，扫描二维码或添加龙哥助手微信号 kangjinlonghelper ，备注“研究方向+地点+学校/公司+昵称”，一起把论文读明白。
欢迎加入龙哥读论文粉丝群，
扫描下方二维码或者添加龙哥助手微信号加群 ：kangjinlonghelper。
一定要备注：研究方向+地点+学校/公司+昵称（如 图像处理+上海+清华+龙哥） ，根据格式备注，可更快被通过且邀请进群。『龙哥读论文』微信群目前包含：图像处理、大模型及智能体、自动驾驶及机器人、AI医疗及AI金融5个群
