← 返回 PaperDaily
视觉与图像
北大新方法：0.005bpp下还原视频细节
视频压缩最难的，不是把码率压低，而是把画面压低以后还不让人想砸键盘。北大这篇直接把“结构锚点”和“运动细节”拆开处理，用生成模型补细节，思路很硬，码率也压得够狠。
龙哥读论文
阅读 4
查看原文
原论文信息如下：
认知极限：从率失真感知理论看视频压缩的瓶颈
视频压缩这件事，最怕的不是“压不下去”，而是“压下去以后根本没法看”。传统视频编码和大多数端到端学习式压缩，长期都在一条老路上打转：尽量保住像素级指标，比如峰值信噪比和结构相似度，靠更精细的变换、量化和熵编码，把码率一点点抠下来。
问题在于，当码率低到离谱，像素级忠诚这条路会突然“塌方”。画面开始糊成一锅粥，运动边界漂移，纹理细节蒸发，最后剩下的不是视频，而是“看起来像视频的灰色方块”。这篇论文瞄准的正是这个极端区间：低到 0.005 bpp 以下，还要尽量保住人眼能接受的感知质量。
这里先补一个基础概念。论文反复提到的率失真感知理论，英文是 Rate-Distortion-Perception theory，简称 RDP theory。它的核心意思很简单：压缩不是只看“像不像原图”，还要看“看起来像不像真实世界”。在极低码率下，单纯追求像素误差最小，往往会和人的主观感受正面冲突。传统方法在低码率下产生的模糊、块效应和时序闪烁，正是这种冲突的典型表现。RDP理论从信息论角度给出了一个三难困境：在给定码率下，失真和感知质量不可能同时达到最优，必须有所取舍。本文正是基于这一理论，选择牺牲像素级精确度，换取更好的感知体验。
这也是本文的出发点：与其死磕每个像素，不如承认一个现实——在极端压缩下，真正稀缺的不是“还原全部信息”的能力，而是“用极少信息补出合理视频”的能力。说白了，就是别再和码率硬刚了，换一条更聪明的路。这条路的核心思想是：把视频压缩从“信息保存”问题，转化为“信息生成”问题。编码端只传输最核心的结构信息，解码端则利用强大的生成先验来补全缺失的纹理和运动细节。这种思路的转变，使得在极低码率下获得视觉上连贯、自然的视频成为可能。
核心创新：Group-of-Latents，一种在潜空间中解耦时空的“金钥匙”
论文最有意思的地方，不是又造了一个更复杂的压缩器，而是把“视频该怎么被压缩”这件事重新想了一遍。它提出的Group-of-Latents，简称 GoL，可以理解成传统 Group-of-Pictures（GoP，图像组/帧组）在潜空间里的升级版。
传统 GoP 是在像素域里分帧：关键帧、预测帧、残差帧，大家都很熟。但本文不在像素域里折腾，而是先把视频送进一个预训练的因果 tokenizer，得到一串潜变量，再在潜变量序列上做切分。这个切分不是随便分，而是明确分成两类：
I-latents：可以理解为“结构锚点”，负责把画面的骨架先钉住。它们通常对应视频中空间结构最清晰、运动变化最小的帧或区域，承载着场景的全局布局和主要物体轮廓。
P-latents：可以理解为“运动补丁”，主要承载时序变化，但它们不一定都要被显式传输。P-latents 包含了帧间的运动信息、纹理变化和局部细节，这些信息在极低码率下往往可以被生成模型合理推断。
这一下，问题就从“整段视频都要压缩”变成了“哪些潜变量必须传，哪些可以让生成模型自己脑补”。这不是偷懒，而是把有限比特花在最值钱的位置上。I-latents 提供稳定的空间锚点，P-latents 则交给生成模型从噪声里恢复，等于把视频压缩从“死记硬背”改成了“抓重点、补细节”。这种解耦方式的关键在于，它利用了视频内容的时空冗余性：相邻帧之间的变化通常是平滑且可预测的，因此只要保住了关键的结构信息，运动细节就可以通过生成模型来“想象”出来，从而大幅节省码率。
更关键的是，GoL 不是一个固定死的配置。训练时可以随机掩码，推理时可以按需要调节保留多少 I-latents，从而在不重新训练模型的情况下切换不同码率点。这个设计很实用，毕竟真实业务里，带宽不是永远恒定的，今天直播间网络好，明天地铁里就只剩“卡顿的尊严”了。具体来说，GoL 掩码策略定义了一个保留比例 r，表示在一个 GoL 组中保留的 I-latents 数量占总潜变量数量的比例。当 r=1 时，所有潜变量都被传输，码率最高但质量也最好；当 r=0.1 时，只有 10% 的潜变量被传输，码率极低，但解码端需要依靠生成模型补全剩余的 90%。这种灵活的机制使得一个模型能够覆盖从低码率到极低码率的整个范围，无需为每个码率点单独训练模型。
I-DCM 的全称是 Deep Compression Module，中文可以理解为“深度压缩模块”。它只负责一件事：把被选中的 I-latents 压到极小，比特越少越好，但还得保住最关键的结构信息。
它的做法并不玄学，主干仍然是 VAE 风格的编码器-解码器，只是下手很狠：先对 I-latents 做更激进的空间下采样，再通过超先验建模估计潜变量分布，最后用熵编码把符号数进一步压缩。说白了，就是先把特征图缩小，再把“哪些值更可能出现”这件事学明白，最后把重复和冗余尽量去掉。具体来说，I-DCM 的编码器将输入的 I-latents 从原始分辨率下采样到 1/8 或 1/16，然后通过一个超先验网络来估计下采样后特征的均值和方差。这个超先验网络本身也是一个小的自编码器，它学习如何高效地表示潜变量的分布参数。最后，基于估计的分布，使用算术编码对量化后的潜变量进行无损压缩。解码器则执行逆过程，将压缩后的比特流还原为 I-latents。
论文里还有一个很容易被忽略、但其实很聪明的细节：除了潜变量本身，编码端还额外发送了一段极短的文本描述，作为全局语义提示。这个文本用 zlib 压缩后写入比特流，开销几乎可以忽略。它的作用很像给生成模型递一张“剧情提要”，别让模型在极低码率下瞎猜主角是谁、场景在哪、动作大概是什么。例如，对于一段“一个人在沙滩上跑步”的视频，文本描述可以帮助生成模型正确理解场景的语义，从而在补全 P-latents 时生成更合理的沙滩纹理和跑步动作，而不是错误地生成草地或走路动作。这个文本描述可以通过一个轻量级的视频描述模型自动生成，也可以由人工标注。
I-DCM 的意义不在于“把全部信息都压住”，而在于“把最该保的结构保住”。在极端码率下，结构锚点比完整像素更值钱，因为后续生成模块只有拿到足够稳的锚点，才有可能补出像样的纹理和运动。实验表明，I-DCM 在 0.001 bpp 的码率下，仍然能够保留视频的主要物体轮廓和场景布局，为后续的生成模块提供了可靠的“骨架”。
机制解析：U-LDM如何零成本“脑补”出运动细节？
如果说 I-DCM 是“少传一点但别传错”，那 U-LDM 就是“少传的部分，交给生成模型自己补”。U-LDM 的全称是 Unified Latent Denoising Module，中文可理解为“统一潜变量去噪模块”。它干两件事，而且是同时干：一边修复 I-latents 里的量化误差，一边从纯噪声里合成缺失的 P-latents。
这里的底层骨架是 DiT，也就是 Diffusion Transformer，中文就是“扩散式 transformer”。不过论文没有简单把扩散模型往视频压缩里硬塞，而是用了流匹配 Flow Matching 框架来做生成。简单理解，模型不再一步步“慢慢噪声去掉”，而是学习一条更直的生成轨迹，训练稳定性和采样效率都更好。流匹配的核心思想是学习一个从噪声分布到数据分布的连续可逆变换，通过优化一个简单的均方误差损失来拟合这个变换的向量场。与传统的扩散模型相比，流匹配的训练过程更稳定，采样所需的步数也更少，通常只需要 5-10 步就能生成高质量的样本。
U-LDM 最值得说的设计，是它没有把“结构条件”直接粗暴拼到噪声里。因为 I-DCM 解出来的结构锚点本身带有量化误差，如果直接拼接，反而会污染生成轨迹，让模型在不干净的条件上学一条更复杂的路。论文选择了更稳的做法：把结构条件作为外部引导，通过 ControlNet 式的零卷积注入到 DiT 的深层，让主干保持标准的生成动态，条件分支只负责提供约束。零卷积是一种特殊的卷积层，其权重初始化为零，因此在训练初期不会对主干网络产生任何影响。随着训练的进行，零卷积会逐渐学习如何将条件信息有效地注入到主干网络中，从而避免了条件信息对生成轨迹的初始干扰。
这一步很关键。因为视频压缩不是“生成一段好看的新视频”，而是“在极少信息约束下，尽量还原原视频的感知外观”。所以 U-LDM 不能太自由，否则会生成得很漂亮但和原视频不沾边；也不能太死，否则补不出细节。本文的做法，正是在约束和想象力之间找平衡。通过 ControlNet 式的条件注入，U-LDM 能够充分利用 I-latents 提供的结构信息，同时发挥生成模型的创造力来补全纹理和运动细节，使得最终生成的视频在感知上与原始视频高度一致。
训练上，论文还用了两阶段策略。第一阶段先单独训练 I-DCM，把码率和结构锚点对齐；第二阶段再联合微调 I-DCM 和 U-LDM，让生成模块学会在极低码率条件下修补纹理、合成运动。更进一步，第二阶段里还用了动态 GoL 训练，也就是训练时随机掩码不同位置的 latent，让一个模型适配多个码率点，推理时只改掩码，不必重训。这个设计很工程化，属于“少折腾模型，多折腾配置”。在动态 GoL 训练中，每个训练批次都会随机采样一个保留比例 r，然后根据 r 生成对应的掩码，只传输被选中的 I-latents。这样，模型在训练过程中就学会了处理各种不同的掩码模式，从而在推理时能够无缝适应不同的码率需求。
实验结果：在极端码率下，重建视频的感知质量有多惊艳？
先说实验设置。论文在 VidGen 上训练，在 JVET-CTC、UVG 和 MCL-JCV 上测试，重点考察 极低码率区间，也就是小于 0.005 bpp 的范围。评价指标上，除了 PSNR、SSIM 这些传统老熟人，还重点看 LPIPS、DISTS 和 KID，因为在这个码率级别，像素指标已经很容易“看起来还行，实际上很糟”。LPIPS（Learned Perceptual Image Patch Similarity）是一种基于深度学习的感知相似度指标，它更关注图像在特征空间中的差异，与人类视觉感知更一致。DISTS（Deep Image Structure and Texture Similarity）则分别评估图像的结构和纹理相似性。KID（Kernel Inception Distance）用于衡量生成图像分布与真实图像分布之间的距离，常用于评估生成模型的性能。
从曲线看，本文方法的表现很有特点：码率压得非常低，但感知指标并没有像传统方法那样直接崩掉。尤其在 LPIPS、DISTS 和 KID 上，随着码率继续下降，曲线仍然保持相对平稳，说明生成先验确实在“补洞”。相比之下，传统编码器和纯率失真优化模型虽然有时 PSNR 不算太差，但画面已经糊得像隔着毛玻璃看世界。例如，在 0.001 bpp 的码率下，传统方法（如 H.266/VVC）的 LPIPS 值可能高达 0.5 以上，而本文方法可以将其控制在 0.3 左右，这意味着人眼感知到的失真显著降低。
表1给的是模型评估结果，直接让大模型当“观众裁判”。无论是纹理闪烁、时序一致性，还是整体质量，本文方法都比 GLC-Video 更高。这个结果挺有说服力，因为它不是只看某一个指标，而是从人类感知角度去判断“像不像一段正常视频”。具体来说，论文使用了一个预训练的视频质量评估模型（如 DOVER）来对重建视频进行打分，该模型会综合考虑纹理细节、运动平滑度、色彩保真度等多个维度。结果显示，本文方法在所有维度上都取得了更高的分数，尤其是在“纹理闪烁”和“时序一致性”这两个对极低码率压缩最具挑战性的维度上，优势尤为明显。
表2则更有工程味。它展示了不同去噪步数下的效率和质量权衡。1步、5步、10步、20步的结果说明，本文方法在少步数时就能保持不错的感知质量，步数增加后质量继续改善，但解码时间也随之上升。换句话说，这套系统不是只有“论文演示模式”，而是确实考虑了部署时的速度成本。例如，在 5 步去噪时，解码速度可以达到 10 FPS 以上，同时 LPIPS 指标仅比 20 步时差约 5%，这对于许多实时应用场景来说是可以接受的。用户可以根据实际需求在质量和速度之间进行权衡。
更能说明问题的是消融实验。表3显示，没有 U-LDM 时，PSNR、SSIM、LPIPS 和 DISTS 都明显变差；加上 U-LDM 后，感知质量跃升非常明显。这说明本文最核心的贡献不是“压缩器又瘦了一点”，而是“生成模块真的把被压扁的细节救回来了”。具体来说，去掉 U-LDM 后，模型退化为一个纯 VAE 风格的压缩器，在极低码率下会产生严重的模糊和块效应，LPIPS 值从 0.3 恶化到 0.6 以上。而加入 U-LDM 后，模型能够利用生成先验有效地恢复纹理和运动细节，使得 LPIPS 值恢复到 0.3 左右，证明了生成模块在极低码率压缩中的关键作用。
这组实验真正说明了一件事：本文不是靠“某个点特别高”取胜，而是在极端码率区间里把整条曲线做平了。对于视频压缩来说，平滑而稳定的感知曲线，比某个孤立峰值更接近可落地的价值。这意味着在实际应用中，当网络带宽波动时，用户不会体验到感知质量的剧烈变化，从而获得更稳定的观看体验。
总结与展望：迈向更低码率、更高感知的视频压缩新范式
这篇论文最值得肯定的，不是把某个指标刷得特别漂亮，而是把视频压缩的思路拧了一下：在极低码率下，别再试图完整保存所有信息，而要先保住结构，再让生成模型补足纹理和运动。GoL 负责把时空信息拆开，I-DCM 负责守住骨架，U-LDM 负责把缺失部分“合理地想出来”。
它的现实意义也很清楚。对于带宽极端受限的场景，比如远程传输、低码率流媒体、边缘设备回传，传统压缩在感知质量上往往已经到头了。生成式压缩不一定能替代所有传统编码，但在“必须压到很低”的场景里，它确实提供了一条更像样的路。例如，在卫星图像传输、远程医疗视频会诊、以及偏远地区的视频监控等场景中，带宽通常非常有限，传统的压缩方法会导致视频质量严重下降，无法满足实际需求。而本文提出的生成式压缩方法，可以在极低码率下提供可接受的感知质量，从而拓展这些应用的可能性。
当然，边界也很明显。首先，U-LDM 依赖较强的预训练生成先验，换个分布差很大的场景，效果未必还能这么稳。例如，对于动画、游戏画面或医学影像等与自然视频分布差异较大的内容，生成模型可能无法正确补全细节，导致感知质量下降。其次，虽然论文把去噪步数压到了 5 步，但解码时间仍然不算轻巧，离“随便跑在小设备上”还有距离。在移动设备或嵌入式系统上，5 步的流匹配采样仍然需要数百毫秒甚至更长时间，难以满足实时解码的需求。最后，文本提示的引入很聪明，但也意味着系统增加了额外的语义条件管理，工程链路会更复杂一些。如何自动生成高质量的文本描述，以及如何处理描述不准确或缺失的情况，都是需要进一步解决的问题。
如果未来继续往下走，比较值得期待的方向有两个：一是让生成式压缩更轻、更快，把大模型先验的成本打下来。这可以通过模型蒸馏、量化、剪枝等模型压缩技术，或者设计更高效的生成架构（如线性注意力机制）来实现。二是把结构锚点和内容理解做得更细，让模型不仅知道“这里要保留什么”，还知道“哪类视频、哪种运动最容易失真”。例如，可以引入内容自适应的掩码策略，根据视频的运动复杂度或纹理丰富度来动态调整 I-latents 的保留比例，从而更高效地分配码率。只要这两点继续推进，极低码率视频压缩就不会只是 demo，而会越来越像一个能进产品的技术栈。
龙迷三问
这篇论文到底解决了什么问题？它解决的是“极低码率下视频压缩只能糊、很难既省比特又保感知”的问题。本文把视频拆成结构锚点和可生成部分，让生成模型去补运动和纹理，从而把码率压到极低时仍尽量保持可看的视频。
GoL、I-latents、P-latents 分别是什么意思？GoL 是 Group-of-Latents，潜空间里的“帧组”组织方式；I-latents 是必须传输的结构锚点；P-latents 是可以不显式传输、由生成模型从噪声中合成的时序潜变量。
为什么不用传统像素级压缩思路，而要引入 DiT 和 Flow Matching？因为在极端低码率下，像素级优化很容易把画面压糊。DiT 提供强生成先验，Flow Matching 让生成轨迹更稳定、更直接，二者结合后更适合在极少比特下恢复感知质量。
如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~
龙哥点评
论文创新性分数：★★★★☆
把 GoP 的思路搬到潜空间，再用生成模型拆分结构锚点和运动补全，这个想法挺硬，不是简单堆模块。
实验合理度：★★★★☆
实验目标明确，重点就打在极低码率区间，指标选择也比较符合感知压缩的真实需求。
学术研究价值：★★★★☆
它把“极低码率视频压缩”这个长期不太好做的方向往前推了一步，对生成式压缩研究很有启发。
稳定性：★★★☆☆
生成式模块带来质量提升，但对预训练先验和采样过程有依赖，稳定性还谈不上“随便上线就跑”。
适应性以及泛化能力：★★★☆☆
动态 GoL 让码率适配更灵活，但跨数据分布、跨内容类型的泛化还需要更多验证。
硬件需求及成本：★★☆☆☆
训练成本不低，解码还要跑生成式去噪，虽然步数降了，但离轻量化设备友好还有距离。
复现难度：★★★☆☆
论文说代码会公开，但当前还没有开源；再加上大模型先验和训练链路复杂，复现门槛不算低。
产品化成熟度：★★★☆☆
在极低码率、强调感知质量的场景有潜力，但要落地还得继续解决速度、稳定性和跨场景适配问题。
可能的问题：方法依赖强生成先验，解码成本仍偏高；若内容分布偏离训练集，感知质量可能波动，离大规模实时部署还有距离。
主要参考文献
[1] Shaokang Wang, Jinchang Xu, Peidong Jia, et al. Group-of-Latents: Perceptual Video Compression at Extreme Bitrates via Masked Latent Generative Modeling. arXiv:2607.19437v1, 2026.
[2] 论文原文链接：https://arxiv.org/pdf/2607.19437v1.pdf
*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～ 想了解更多原文细节的小伙伴，可以点击"阅读原文"，查看更多原论文细节哦！
欢迎加入龙哥读论文粉丝群，
扫描下方二维码或者添加龙哥助手微信号加群：kangjinlonghelper。
一定要备注：研究方向+地点+学校/公司+昵称（如 图像处理+上海+清华+龙哥），根据格式备注，可更快被通过且邀请进群。
『龙哥读论文』微信群目前包含：图像处理、大模型及智能体、自动驾驶及机器人、AI医疗及AI金融5个群
视频压缩、感知压缩、扩散模型、极端低码率这些方向，群里都很适合聊，欢迎来一起拆论文、看代码、聊落地。
