← 返回 PaperDaily 视觉与图像

香港科技大学提出LiveLight：视频重光照首次实时化，交互式打光边播边调

实时移动光源，画面即刻响应——LiveLight 让视频重光照从『渲染后等待』变为『边播边调』。香港科技大学联合多家机构提出首个基于扩散模型的实时流式视频重光照框架，仅用4步采样跑出15.78FPS还把质量做到SOTA，视频编辑领域值得重点关注的方向性工作。

龙哥读论文 阅读 7 查看原文
#视频生成 #图像生成 #3D渲染
原论文信息如下：
论文标题:
LiveLight: Real-time Streaming Video Relighting with Interactive Control 发表日期:
2026年08月 论文作者:
Yue Ma, Jiangming Wang, Yucheng Wang, Xilai Wang, Zhiyuan Li, Xinyu Wang, Hongyu Liu, Ruofan Liang, Songchun Zhang, Yuxuan Xue, Qifeng Chen 发表单位:
HKUST, University of Macau, THU, UoT, University of Tuebingen 原文链接:
https://arxiv.org/pdf/2608.01771v1.pdf

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：
这篇论文到底在解决什么问题？香港科技大学提出LiveLight，首个基于扩散模型的实时流式视频重光照框架，通过MPLI轻量适配器、几何引导蒸馏和滚动窗口策略，实现15.78FPS的交互式3D点光源控制，质量…
这篇工作最值得看的点是什么？在所有质量指标和VBench指标上全面第一，且在真实感和时间稳定性上显著优于离线方法；16帧处理耗时仅1.01秒，速度提升近40倍，用户偏好评分最高。
这篇工作的边界或风险在哪里？优点：实现实时交互式流式视频重打光，支持任意长度视频；MPLI适配器参数少且能保留生成先验；滚动窗口策略保证时间一致性；几何反馈在训练时增强结构保持且不增加推理开销。缺点：小尺寸或远距离人脸效果退化；高频细节（文字、小配件）有伪影；依赖现…
如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★★☆

首个将扩散模型带到实时流式视频重打光场景的工作，MPLI轻量注入、几何引导蒸馏、滚动窗口三个设计都有实质性创新，且相互咬合紧密，不是简单的模块堆叠。

实验合理度：★★★★☆

定量、定性、用户研究、消融齐全，对比方法覆盖图像级和视频级主流方案，测试场景多样。扣一星是因为主流对比方法中缺少两三个更新的视频重打光工作，且部分对比基线可能未在同等算力下重新训练。

学术研究价值：★★★★★

本文首次系统性地把“交互式流式生成”引入视频重打光领域，定义了三个核心挑战和三条解决路径，为后续工作提供了清晰的可扩展框架。流式生成+少步蒸馏+几何约束的组合思路，对视频编辑其他任务（如风格化、去噪、超分）同样有很强的迁移参考价值。

稳定性：★★★☆☆

在论文展示的各类视频上效果稳定，但作者自己承认对高频细节（小文字、配饰、远距离人脸）会丢失；对极端光照条件（超低亮度、复杂多光源叠加）的鲁棒性还有待更多验证。属于“demo惊艳但工程边界仍需探索”的阶段。

适应性以及泛化能力：★★★☆☆

对真实世界视频有较好泛化，得益于合成数据域随机化和光照—外观解耦策略。但当前主要支持单一点光源编辑，多光源场景虽然能处理，但控制复杂度和稳定性尚需进一步验证。对动态复杂场景（快速运动、遮挡变化）的适应性还需更多测试。

硬件需求及成本：★★★★☆

15.78 FPS是在NVIDIA H20上测得的。训练成本不低（三阶段共约10万轮迭代，8卡H20），但推理阶段只需一个能跑SD1.5级别模型的消费级GPU。对主流创作者设备来说，这个算力门槛是可以接受的。

复现难度：★★★★☆

作者承诺开源模型、训练数据和合成数据生成器，这对复现是极大的利好。数据合成管线是影响复现效果的关键，如果代码和资产都公开，复现工作量可以控制在合理范围。

产品化成熟度：★★★☆☆

作为技术demo已经非常接近产品形态（自带交互界面、实时预览），但要真正落地到视频编辑软件或直播工具，仍需解决高频细节丢失、多光源场景稳定性、长视频漂移等技术问题。此外，UE5合成数据与真实世界之间的域差距也是产品化过程中绕不开的坎。

可能的问题：消融实验的数值表格中部分提升幅度较小，需考虑随机种子和评估集差异；对比方法中缺少更新SOTA基线的完整调优；MPLI依赖深度估计质量，在深度预测不准的场景下可控性可能显著下降；用户研究的样本量和参与者构成未详细说明。


主要参考文献

[1] LiveLight: Real-time Streaming Video Relighting with Interactive Control. Yue Ma, Jiangming Wang, Yucheng Wang, et al. arXiv:2608.01771, 2026.
[2] 项目主页: https://living-lighting.github.io

*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～ 想了解更多原文细节的小伙伴，可以点击"阅读原文"，查看更多原论文细节哦！       

end
视频重光照，边播边调才叫爽！LiveLight把离线渲染的等待变成了实时交互的创作快感🎬 想第一时间get更多图像/视频编辑新范式？欢迎加入龙哥读论文粉丝群，扫描下方二维码或者添加龙哥助手微信号加群：kangjinlonghelper。一定要备注：研究方向+地点+学校/公司+昵称（如 图像处理+上海+清华+龙哥），根据格式备注，可更快被通过且邀请进群。
『龙哥读论文』微信群目前包含：图像处理、大模型及智能体、自动驾驶及机器人、AI医疗及AI金融5个群
wechat_helper dianzan

转发文章 微博 X LinkedIn Facebook
龙哥读论文 · PaperDaily

本文基于龙哥读论文 PaperDaily 数据库整理，结合论文原文与工程视角进行解读。