澳门科技大学动态3D重建：5fps仍用事件流补全运动，PSNR达29.37 dB

龙哥导读

普通动态三维重建依赖连续视频：前后两帧足够近，模型就能猜出中间怎么动。EdMCGS故意把条件压到5帧每秒，甚至每段只有约10张训练图，再让事件相机提供帧间的亮度变化。真正关键的不是“多一种传感器”，而是事件流在推理时仍参与状态转移，不再只是训练阶段的辅助监督。论文在合成数据5fps下达到29.37 dB，比最强公开事件基线高2.54 dB；真实数据平均也在三项指标上领先，同时只使用对方约十分之一的高斯数量。

先想象一个很现实的场景：摄像机为了省带宽和存储，只留下每秒5张清晰彩色图。一个人抬腿、机械臂转向、玩具快速旋转，前一张还在左边，后一张已经到了右边。中间究竟走了哪条轨迹？如果模型只看到两个端点，它完全可能画出一条“数学上平滑、物理上胡扯”的运动。

EdMCGS瞄准的正是这个空档。彩色图像告诉系统“这一刻长什么样”，事件相机则以微秒级时间分辨率记录每个像素亮度何时上升或下降。论文最值得看的判断是：缺失的不是更复杂的三维表示，而是两帧之间真实发生过什么的时间证据。

一、极低帧率为什么会把动态高斯“撕开”

三维高斯泼溅可以把场景表示成大量带位置、方向、大小、透明度和颜色的椭球。静态场景里，这些椭球固定不动；动态场景里，模型再学习一个随时间变化的形变场，让高斯在不同时间移动。它渲染快、画质高，已经成为动态新视角合成的重要路线。

问题在于，时间函数必须从观测中学习。30fps视频相邻两帧只隔约33毫秒，物体位置变化有限，插值往往还能蒙对。5fps时相邻帧相隔200毫秒，快速动作可能跨过很大距离。模型只在少数时间点被彩色图像约束，中间状态没有证据，就容易出现肢体断裂、多个位置叠影、边缘拖尾和几何漂移。

事件相机恰好补这一块。它不按固定帧率拍完整图像，而是在像素亮度变化超过阈值时输出事件，记录位置、时间和正负极性。它不会直接给出完整颜色，却能非常密集地告诉模型“哪里刚刚变亮、哪里刚刚变暗”。这像监控只保存少量彩色关键帧，同时保留一份精细的运动痕迹日志。

二、方法总览：彩色帧钉住端点，事件流推动中间状态

论文没有让几十万个高斯分别读取事件，而是先从规范空间中选出512个控制点。每个高斯绑定最近的3个控制点，控制点先动，再通过线性混合蒙皮带动附近高斯。这样做把复杂运动压缩到一个稀疏骨架上，计算和正则都更容易控制。

论文Figure 1：左侧从规范高斯中采样控制点；中间以彩色帧时间为锚点，让区间事件驱动马尔可夫转移；右侧把事件图编码后，在每个控制点的投影位置做双线性采样，再带动高斯渲染。

整条链可以拆成四步。第一，稀疏彩色帧在各自时间戳上提供绝对外观和位置锚点。第二，从上一个锚点到当前查询时间，把这段区间内的正负事件累积成二维极性图。第三，一个浅层卷积网络把事件图变成保留空间布局的特征。第四，每个控制点投影到事件相机平面，只读取自己附近的事件特征，预测一小段事件驱动位移。

模型同时保留一条由彩色帧学习的平滑形变先验。最终位移等于“彩色图像给出的粗运动”加“事件流给出的细修正”。这个组合很务实：彩色分支保证整体轨迹不会乱飞，事件分支专门修复稀疏帧之间真正发生的快速运动。

三、为什么叫事件驱动马尔可夫链

“马尔可夫链”听起来有点吓人，直觉其实很简单：预测当前状态时，只依赖最近的已知状态，以及从那里到现在发生的变化，不需要背着全部历史。论文把最近一张彩色帧对应的控制点状态当作锚点，把锚点之后到查询时刻的事件当作转移条件。

论文公式5与公式6：查询时刻的状态由最近彩色锚点状态和当前区间事件共同决定；每个控制点的总位移由彩色先验位移与事件修正项相加得到。

公式5里的St代表查询时刻全部控制点的位置，τ(t)代表不晚于t的最近彩色帧时间，E[τ(t),t]是这段区间内的事件，T是状态转移。换成白话：先回到最近一个有照片作证的时刻，再沿着事件留下的痕迹走到现在。

公式6进一步把每个控制点的位移拆成两项。第一项由时间和控制点位置输入形变网络，给出平滑的彩色先验；第二项把控制点位置编码与本地事件运动码送进小型多层感知机，输出事件修正。事件分支最后一层采用零初始化，并逐渐升温启用，避免训练一开始就被噪声事件带跑偏。

更重要的是，这条事件转移在推理时仍然开启。此前不少事件动态重建方法把事件只当训练损失：训练时看过事件，推理时仍然只输入时间，帧间运动本质上还是插值。EdMCGS则在每个查询时间重新读取对应区间的事件，因此中间状态有直接观测依据。

四、本地事件采样：别把全画面的运动搅成一锅粥

事件图里不只有物体运动。相机自己移动会让背景产生事件，传感器噪声也会留下零散点。如果把整张事件图平均池化成一个全局向量，再把同一个向量交给所有控制点，背景的事件会推着前景走，前景的事件也可能把静态区域拖歪。

EdMCGS选择局部读取。控制点先按彩色分支的粗位移投影到事件相机，再在投影位置进行双线性采样。卷积网络约23像素的感受野定义了隐式邻域：腿部控制点主要读取腿附近的亮度变化，机械臂控制点主要读取机械臂附近的事件，而不是共享一个全局“运动摘要”。

这一步看起来只是采样方式，消融却说明它是核心部件。5fps合成数据中，完整模型的峰值信噪比指标（PSNR）为29.37 dB；去掉局部采样、改用全局描述后降到24.61 dB，损失4.76 dB。说明事件有没有用，不只取决于数量，还取决于运动证据是否被送到真正负责那块区域的控制点。

五、时间局部等距：让邻居一起动，但不把物体拉成面条

事件修正是逐控制点预测的。好处是灵活，坏处是邻近点可能各走各的：一个向左，一个向右，局部结构就会拉伸或剪切。论文因此在控制点上建立近邻图，并加入时间局部等距约束。

论文公式8与公式9：先计算相邻控制点在某时刻的距离，再惩罚两个邻近时间点之间的距离变化；刚体旋转和平移不会受罚，拉伸与剪切会受罚。

公式8的ℓjk(t)就是控制点j和k在时刻t的距离。公式9在查询时间两侧各取一个邻近时刻，比较同一条边长度是否变化。若一小块物体整体平移或旋转，点间距离不变，损失接近零；若局部被拉长、压扁或剪切，损失就会增大。

它与常见的“尽可能刚性”约束不同，不需要为每个点通过奇异值分解估计旋转，也不是拿每个时刻与静态初始形状硬比较。它直接比较两个相邻的动态时刻，约束几何如何随时间演化。对于需要补全未观测中间态的任务，这比只保证端点看起来正确更对症。

六、训练目标：颜色归彩色帧，运动归事件

训练在彩色帧时间使用标准光度损失，把L1误差和结构相似性损失结合起来。帧间则随机取两个密集子时刻，分别渲染图像并转成对数亮度，再让两次渲染的亮度差匹配这段时间内累积的正负事件。

这里有个很细但很重要的设计：事件损失不向颜色参数回传梯度。一次亮度变化约束很难区分“几何真的动了”还是“颜色被改了”，如果让事件同时更新颜色，模型可能用错误色彩变化投机取巧。论文把颜色梯度断开，让事件损失只修正几何和运动，外观继续由真实彩色帧负责。

完整目标还加入事件位移的近邻拉普拉斯平滑，以及刚才的时间局部等距项。可以把职责理解为四层：彩色帧负责“长什么样”，事件负责“中间怎么变”，近邻平滑负责“邻居别互相打架”，时间等距负责“局部结构别被扯坏”。

七、实验怎么做：不是在已有帧上自我欣赏

合成数据包含四类序列，覆盖全身关节运动、局部肢体运动和刚性机械运动。原始高帧率序列先生成事件，再只保留10fps或5fps的彩色帧训练；被丢弃的中间帧作为真值。5fps时每段大约只有10张彩色训练图，这正是方法声称要解决的极端稀疏条件。

真实数据使用公开事件动态场景的四个序列，并把彩色流降到5fps，其余帧作为中间时刻测试。所有方法在一张16GB显存的消费级显卡上训练，合成数据3万步、真实数据4万步。EdMCGS使用512个控制点，每个高斯绑定3个最近控制点，等距图每点连接10个邻居。

评价使用峰值信噪比、结构相似性和感知距离三项指标。峰值信噪比更在意像素误差，感知距离更敏感于模糊和结构错位。动态补帧特别容易生成“平均化”的糊影，因此只看峰值信噪比不够，三项一起看更合理。

八、定性结果：最明显的不是更锐，而是动作不再重影

Figure 2展示合成场景。只依赖彩色图的动态高斯方法在快速动作区域会撕裂或叠出两个位置；先把事件重建成强度图、再喂给动态高斯的方法，也会受到亮度漂移和缺少色彩信息影响。公开事件基线缓解了撕裂，但快速前景仍明显发糊。

论文Figure 2：多种基线与完整模型在合成动态场景上的中间时刻对比。完整模型在人体和局部快速运动区域保留更完整的轮廓，减少重影与撕裂。

Figure 3在真实场景中呈现类似趋势，不过差距没有合成数据那么夸张。原因是这些真实画面里，运动物体只占一部分，大面积静态背景容易把整图平均分抬高。真正该看的仍是挖掘机、车辆、花朵和鸟类等运动区域的边缘与细节。

论文Figure 3：真实事件相机场景的定性对比。完整模型在运动主体上减少模糊，并保持较连贯的结构；该图支持局部画质优势，不等于已覆盖所有真实运动和光照条件。

九、定量结果：帧率越低，事件驱动的价值越大

合成数据10fps时，EdMCGS达到31.56 dB、0.9668结构相似性和0.0426感知距离；5fps时为29.37 dB、0.9495和0.0551。最强公开事件基线在5fps下为26.83 dB、0.9298和0.0703，峰值信噪比低2.54 dB，感知距离高约27.6%。

论文Table 1：四个合成场景的平均结果。完整模型在5fps和10fps的三项指标上均为最佳；从10fps降到5fps后，仍保持明显领先。

真实数据5fps下，完整模型平均31.13 dB、0.9015和0.2398；公开事件基线为29.75 dB、0.8920和0.2583。优势较小但方向一致。论文没有把背景占比造成的平均分稀释藏起来，而是明确解释：真实数据里很多像素属于静态背景，所有方法都容易重建，真正困难的是运动前景。

最有说服力的单场景是5fps的全身快速动作。去掉事件驱动马尔可夫转移后，峰值信噪比只有21.67 dB；完整模型达到31.81 dB，相差10.14 dB。可当动作幅度很小、帧率更高时，两者差距会显著收窄。这说明方法不是无条件增益，而是场景变化越剧烈、彩色帧越稀疏，事件在推理时直接驱动运动越重要。

十、效率结果：更强，不是靠堆更多高斯

合成数据上，EdMCGS训练约13分34秒，渲染309fps，使用8119个高斯；公开事件基线训练15分04秒，渲染277fps，使用46044个高斯。真实数据差距更大：EdMCGS约16分42秒、218fps、18051个高斯；公开事件基线约198分58秒、176fps、183710个高斯。

论文Table 3与Table 4：训练时间、渲染帧率、高斯数量和峰值信噪比对比。完整模型用更少的高斯取得更高画质，并保持实时渲染。

这里不能简单说“事件分支免费”。相对纯彩色动态高斯骨干，它确实增加训练时间，也降低部分渲染速度。但高斯数量基本没有被夸张扩容，质量提升主要来自运动模型更会利用事件，而不是往场景里塞更多表示容量。对工程团队来说，这比单独报一个峰值指标更有价值。

十一、消融实验：三个部件少一个都不好使

完整模型在5fps合成数据为29.37 dB。完全去掉事件流后降到24.05 dB；保留事件损失、但去掉推理时的马尔可夫转移后为25.44 dB；把局部事件采样换成全局描述后为24.61 dB；去掉时间局部等距约束后为24.98 dB。

论文Table 5：事件流、事件驱动马尔可夫转移、本地采样和时间局部等距均对结果有明显贡献。完整模型在合成与真实数据上保持最佳综合指标。

这组结果把论文的逻辑闭环得比较完整。事件流提供证据；马尔可夫转移让证据在推理时真正进入运动预测；局部采样把证据送到正确控制点；等距约束防止每个控制点独立修正时破坏局部几何。不是四个孤立技巧，而是一条前后相扣的链。

十二、和两篇相似研究放在一起看

第一，事件高斯同步定位与建图系统（EGS-SLAM）解决的是“运动模糊下还能不能稳住相机和地图”。它把事件与彩色—深度输入融合，显式建模曝光期间的连续相机轨迹，同时进行事件与模糊感知的跟踪、建图。它面对的是相机定位和静态地图质量；EdMCGS面对的是动态物体在稀疏彩色帧之间如何运动。两者共同说明，事件相机最有价值的地方不是替代普通图像，而是补普通帧制传感器遗漏的连续时间信息。

第二，关节高斯重建方法（REArtGS++）解决的是“只看两个关节状态，未见中间状态会不会变形”。它针对抽屉、冰箱等关节物体，引入时间连续的几何约束与平面高斯，限制未观测状态的表面和运动。它没有使用事件流，而是从几何先验约束连续轨迹；EdMCGS则用事件提供中间观测，再用时间等距稳定局部结构。一个更依赖运动模型，一个更依赖传感器证据。

把三者串起来，会发现动态重建的主问题正在变化。早期大家更关心“能不能把每一帧渲染清楚”，现在越来越关注未被相机完整拍下的连续时间，究竟靠什么约束。答案可能是事件、惯性、几何先验、运动学模型，或它们的组合。只在观测端点上拟合得漂亮，已经不够。

十三、代码、数据与复现价值

官方仓库给出了合成数据和真实数据的训练入口，并链接了公开的合成数据集。论文也写明了训练步数、控制点数量、近邻设置、卷积特征维度和损失权重。相比很多只展示结果、不给代码和数据的事件动态重建工作，它更适合作为这一问题的可复现基线。

但“有仓库”不等于普通电脑可以一键复现。完整训练需要事件数据、相机位姿、图形处理器训练环境和单场景优化；论文结果来自一张16GB显存显卡。当前公开仓库首页提供了训练命令和数据入口，但本文没有把下载代码、读到命令当成“本地实测成功”，也没有独立重复论文的完整指标。

真正值得团队复用的，未必是整套训练流水线，而是三个设计原则：让辅助传感器在推理时继续工作；把稠密场景运动压到少量控制点；把局部运动证据与局部几何约束成对设计。它们也可以迁移到事件之外的多传感器动态建模。

十四、局限：实时渲染不等于随手拿相机就能重建

第一，方法假设相机位姿已知。这意味着相机每一刻在什么位置、朝哪个方向，需要由外部流程提供。动态物体运动与相机运动本来就容易混淆，若位姿不准，事件也可能被错误归因。把位姿和动态几何联合恢复，是更难也更实用的下一步。

第二，真实数据规模仍小。实验包含四个真实场景，运动主体相对有限，大部分背景静止。论文主动承认需要更大、运动更多样的真实事件数据。合成数据能提供干净真值，却无法覆盖事件噪声、阈值变化、复杂光照和真实同步误差。

第三，事件不是万能运动传感器。事件响应的是亮度变化。低纹理、亮度几乎不变、极端噪声或对比阈值漂移时，运动证据会变弱。事件图还混合了相机运动、物体运动和传感器噪声，本地采样只能缓解，不会自动消除所有歧义。

第四，论文评估的是单场景优化后的新视角渲染。它没有证明模型能直接泛化到任意新场景，也没有展示自动驾驶、机器人或安防产品的端到端收益。把它用于现实系统，还要解决标定、同步、位姿、持续建图和硬件成本。

十五、实际价值：什么时候值得多装一只事件相机

最直接的场景是高速、低照度和带宽受限的动态采集。普通彩色相机可以低频保存外观锚点，事件流负责记录高频变化，从而延长可回溯时间。对于机器人操作、工业检测、动作捕捉、沉浸式重建和某些车载场景，这种“少存完整帧，多存变化”的组合具有现实吸引力。

不过，值不值得上事件相机要算系统账。新增传感器带来同步、标定、驱动和数据处理成本；若场景运动很慢、彩色帧率充足，论文自己的消融已经提示，事件驱动转移的边际收益会变小。它不是所有动态重建的默认答案，而是对“帧间空档很大”这一类问题特别合适。

对研究者而言，这篇工作还有一个更普遍的启发：训练时有辅助信息、推理时却把它丢掉，常常会让模型退回猜测。既然事件流在部署时仍然可得，就应该把它放进状态转移，而不是只写进损失函数。这个原则也适用于惯性测量、深度、触觉和声音等连续传感器。

十六、龙哥点评：这篇工作赢在“证据进入推理”，不是马尔可夫三个字

龙哥觉得，这篇论文最好的地方不是给动态高斯套了一个听起来高级的马尔可夫名字，而是把问题诊断得很准：极低帧率时，时间函数插值失败，不是因为网络还不够大，而是因为中间没有证据。事件相机已经把证据记录下来，模型就应该在推理时直接读取。

第二个优点是工程克制。作者没有给每个高斯接一套庞大事件网络，而是用512个控制点承担状态，再让高斯跟随控制点变形。真实数据上，高斯数量从公开事件基线的18万级降到约1.8万，训练时间也从约199分钟降到约17分钟。指标提升与系统变轻同时出现，说明改进来自结构，而非暴力堆容量。

第三个优点是消融足够对题。去掉事件、去掉推理时转移、去掉局部采样、去掉等距约束，都会明显掉点；尤其快速全身动作里，推理时读取事件带来10.14 dB差距。这让“事件不仅是监督，而是状态转移输入”的中心主张站得住。

但它离“随手拍一段稀疏视频，就自动得到稳定动态三维世界”还有距离。已知位姿、场景级训练、小规模真实数据和事件硬件门槛都在。长期价值取决于能否把相机位姿、动态几何和事件噪声一起处理，并在更复杂真实场景中保持优势。

十七、龙迷三问

十八、总结：别让模型在两帧之间闭眼猜

EdMCGS把极低帧率动态重建变成一个清晰的状态问题：彩色帧负责钉住已知时刻，事件流负责推动帧间状态，局部采样把运动证据分配给正确控制点，时间局部等距则防止几何在传播过程中拉伸变形。

在5fps合成数据上，它达到29.37 dB，相比公开事件基线高2.54 dB；真实数据平均达到31.13 dB。它还用更少的高斯和更短的训练时间保持实时渲染。更关键的是，消融证明优势不是事件损失带来的模糊加成，而是事件在推理阶段真正参与了状态转移。

这篇论文最终留下的不是一个“所有视频都该换事件相机”的结论，而是一条更扎实的原则：当连续世界的信息已经被另一种传感器记录，就不要让模型在观测空档里只靠时间插值闭眼猜。未来真正好用的动态三维系统，很可能不是单一相机越来越强，而是多种传感器各自提供最擅长的证据，再由一个轻量状态模型把它们接起来。