南大最新单图重拍SOTA：换机位拉焦距调色温一次搞定

原论文信息如下：

论文标题:
ReX-Shot: Single-Image Rephotography via Geometry and Camera-Grounded Generation

发表日期: 2026年8月

发表单位: 南京大学

原文链接: https://arxiv.org/pdf/2608.18593v1.pdf

项目链接: https://ruiqi-nju.github.io/ReX-Shot/

从一张照片到任意重拍：ReX-Shot如何实现三维感知的摄影效果控制

按下快门的瞬间，视角、焦距、色温、曝光等参数就全部被"冻结"在画面里。想换个机位、拉近一点、把色调调暖？传统做法只有两条路：要么打开PS修半天，要么背起相机回到现场重新拍。但南京大学这项最新研究给出了第三种答案：用一张参考照片，直接在虚拟空间里完成"重拍"。

论文提出的ReX-Shot，把单图像重拍摄（Single-Image Rephotography）定义为一个虚拟重拍过程：给定一张参考图像，模型根据目标视点（Viewpoint）、焦距（Focal Length）以及参数化摄影效果（色温、曝光、饱和度、对比度），重新合成一张新拍摄的照片。这个定义并不复杂，但真正实现起来却需要跨越几何重建、连续控制、高效生成等多道关卡。回顾相关领域的发展脉络：新视角合成（NVS）方法擅长改变相机位置，但通常假设焦距固定；超分辨率（SR）方法能补全高频细节，却缺乏三维感知；指令编辑方法可以灵活调整图像风格，但无法保证几何一致性。ReX-Shot的贡献在于首次将这三条看似平行的技术路线统一到一个框架中，并且通过巧妙的设计解决了联合控制带来的新挑战。

先看任务定义。设参考图像为 Ir，参考相机和目标相机分别用 cr 和 ct 表示，每个相机由内参矩阵 K 和外参矩阵 T=[R|t] 刻画；当需要摄影效果控制时，再引入一个效果条件 eφ=α，其中 φ 表示效果类型，α∈[0,1] 是归一化控制值。ReX-Shot的目标函数可以写成如下形式：

这个公式的含义是：模型 FΘ 在给定参考图像、目标相机参数和可选效果参数的情况下，直接生成目标图像 Ît。如果不要求效果控制，eφ 为空。表面上看问题很简洁，但背后藏着两个极其棘手的难题——单图像三维重建的病态性，以及连续焦距放大导致的采样稀疏性。这两个问题分别对应着"几何从哪来"和"细节从哪来"的根本性挑战，也是ReX-Shot方法设计的出发点。

为什么说联合控制难？看一下传统方法的布局就明白了：新视角合成只管换视角，不管焦距变化；超分辨率只负责放大2D图像补细节，不保证几何一致性；指令编辑只能改图像外观，完全没有3D感知。三个方向各管一摊，没有一个框架能把视点、焦距和摄影效果统一起来。ReX-Shot瞄准的正是这个空白。值得注意的是，这种统一不仅仅是功能的简单叠加——当视点和焦距同时变化时，摄影效果的控制必须与三维几何变换协同工作，否则就会出现"滤镜贴在错误几何上"的怪异效果。ReX-Shot通过将效果控制嵌入生成骨干的方式，从机制上保证了这种协同性。

ReX-Shot单图像重拍摄总览。左侧展示了多维重拍摄能力——参考场景可以按目标视角、焦距、色温、曝光、饱和度和对比度参数被重新虚拟拍摄；右侧是定量性能雷达图，ReX-Shot在视点、焦距和摄影效果控制三个维度上都优于不同方法类别的代表基线。从雷达图可以直观看出，以往方法往往在某个维度表现突出但在其他维度明显短板，而ReX-Shot的三维能力相对均衡且全面领先。

双空间锚定：如何同时解决几何不精确与采样稀疏两大难题

第一个难题是单图像三维重建的病态性。一张静态照片是三维世界在二维平面的投影，从二维像素反推三维场景天然存在无穷多个解。即便用上VGGT（Visual Geometry Grounded Transformer，一种基于Transformer的视觉几何基础模型）这样强大的单图几何估计模型，几何误差仍然无法完全避免。如果直接在像素空间里做显式投影，微小的几何误差会被目标相机参数放大成明显的局部偏移，物体轮廓错位、空间关系扭曲，错误一路传导到最终生成结果。这种误差放大效应在焦距拉大时尤其明显——原本几个像素的深度误差，在长焦视角下可能对应着几十个像素的位移。

为此，ReX-Shot提出了"双空间锚定"方案：一条分支在像素空间做显式投影，另一条分支在特征空间做隐式投影，两条腿同时走路、优势互补。这个设计的核心洞察在于：像素空间投影虽然对几何误差敏感，但能提供精确的逐像素对应关系；特征空间投影虽然缺乏像素级精度，但对局部几何偏移具有天然鲁棒性。两者结合，既能利用显式几何的精确性，又能借助特征表示的鲁棒性来弥补几何估计的不足。

像素空间分支的思路非常直接。用VGGT从参考图像中估计出深度图 Dr 和相机参数 (Kr, Tr)，然后在世界坐标系中反投影出逐像素点云，再投射到目标相机平面上，得到粗略的几何锚定图。整个过程涉及两次坐标变换：

公式中 X(u) 是把参考图像素 u 反投影到世界坐标系的三维点，ut(u) 则是把它投影到目标图像平面的像素位置。由于参考图像中不可见的区域（遮挡部分）在重投影后会出现空洞，而几何误差又会带来局部偏移，这份粗略渲染只能作为后续生成的几何引导，不能直接当作最终结果。换句话说，像素空间分支提供的是一个"大致正确但不够精细"的几何骨架，后续的生成过程需要在这个骨架上补充纹理细节并修正局部偏差。

关键创新在于第二个分支——特征空间隐式投影。论文观察到，VGGT和DINOv2（一种自监督视觉特征模型）提取的基础模型特征，对局部几何偏移具有天然的鲁棒性。原因在于：每个特征token对应的是14×14大小的图像块，加上注意力机制已经聚合了周边区域的上下文信息，即使某一点几何位置偏了几个像素，特征层面的语义和结构信息仍然保持一致。这种"特征级鲁棒性"是ReX-Shot能够容忍几何误差的关键。特征提取过程如下：

Fv 和 Fd 分别表示VGGT和DINOv2提取的特征图，随后按通道方向拼接，得到融合特征 Fr。视点和焦距变化会让部分参考视角的特征不再与目标视角相关，因此论文设计了一个相机感知特征投影器，用PRoPE交叉注意力（PRoPE全称Periodic Relative Positional Encoding，即周期性相对位置编码）把参考特征隐式变换到目标视角：

Q(0) 是可学习的查询token，P=(cr, ct) 是参考-目标相机对，用于在注意力中编码相对位姿关系。整个过程完全在特征空间完成，不依赖显式几何，因此对局部几何误差不敏感。PRoPE编码的巧妙之处在于，它将相机之间的相对旋转和平移信息以周期性位置编码的形式注入注意力计算，使得投影器能够根据相机运动的方向和幅度自适应地调整特征变换的方式。

但训练特征投影器有个坑：如果和生成骨干一起只靠图像级监督联合训练，投影器可能学不到真正的相机变换，而是直接去参考特征里"大海捞针"。因此论文先用"目标图像真实特征"做对齐预训练，最小化余弦相似度损失：

在训练过程中，VGGT和DINOv2的编码器保持冻结，只优化投影器参数，让投影器先把"参考特征变到目标视角"这件事学好，再接回整个pipeline。这种两阶段训练策略至关重要——它确保了特征投影器真正学习到了相机变换的几何本质，而不是退化为一个简单的特征检索器。预训练完成后，投影器再与生成骨干联合微调，此时它已经具备了良好的初始化，能够在端到端训练中保持稳定的几何变换能力。

图2：ReX-Shot的完整流程。给定单张参考图，先估计逐像素点云和相机参数，再合成可控视点、焦距和摄影效果的重拍图。流程分两个阶段：第一阶段双空间几何与相机锚定，把像素空间投影（在目标相机下渲染估计点云）和特征空间投影（通过PRoPE交叉注意力把VGGT和DINOv2特征隐式变换成相机感知token）结合起来；第二阶段生成式重拍摄，借助一步生成式超分模型的细节先验来恢复稀疏三维重采样中丢失的细节，同时用参数化摄影效果编码器把连续效果控制信号注入DiT块。雪花和火焰图标分别表示冻结和可训练模块，⊕表示拼接。从图中可以清晰看到，像素空间分支和特征空间分支在生成骨干之前汇合，共同为生成过程提供几何与语义引导。

超分辨率先验的妙用：焦距放大为何本质上是三维重采样问题

第二个难题更隐蔽——焦距放大带来的采样稀疏问题。当场景被放大到新的图像平面时，原本投影到每个像素上的场景采样点被分散到更大的像素区域里，单位面积的有效采样点变少了。推理过程很简洁：

当焦距放大倍率 sf=ft/fr 大于1时，目标图像中的采样密度 ρt 会按平方关系急剧下降。这意味着，如果直接把参考图像素投影到目标视角，长焦端会出现严重的"信息空洞"——每个目标像素只能从稀疏的采样点中插值得到，导致模糊和锯齿。而超分辨率模型做的事情恰好在数学上与之对应：

一个倍率为 s 的超分模型，其输出采样密度 ρHR 等于输入采样密度 ρLR 的 s² 倍。如果把焦距放大后的目标采样密度当作SR输入密度，再令 s=sf，输出密度恰好恢复到参考图原来的采样密度 ρr。换句话说，焦距放大和超分辨率本质上在做同一件事：补全空间放大过程中丢失的采样细节。这个数学等价关系是ReX-Shot选择超分模型作为生成骨干的理论基石。

基于这个洞察，ReX-Shot把TSD-SR（Target Score Distillation Super-Resolution，目标分数蒸馏超分模型）作为生成骨干——它是一个一步式生成超分模型，能一次前向输出结果，不需要多步迭代扩散采样，非常适合近实时交互场景。ReX-Shot把它从2D图像增强改造成"3D感知"的版本：输入不是低分辨率图像，而是像素空间投影得到的粗略渲染结果；条件不是文本提示，而是特征空间投影得到的目标视角token序列。生成过程如下：

把像素空间渲染结果 Ît 经过VAE编码得到 latent zt，再让生成器 εθ 预测并移除退化残差，一步完成去噪生成。特征条件 Ît 的注入方式也很讲究——在每个Transformer层中，特征token被映射成额外的key和value，与图像latent token的key/value拼接后一起做注意力计算：

最终两路注意力的输出被加在一起：

这样做的好处是双向的：一方面保留原始注意力通路，让预训练的超分先验不被破坏；另一方面每一层生成过程都能直接"看到"目标视角的特征引导，几何锚定贯穿整个生成过程。这种"双通路注意力"设计是ReX-Shot能够同时保持生成质量和几何一致性的关键机制。训练损失是MSE和LPIPS感知损失的组合，权重各占一半：

在搞定几何和细节恢复之后，论文进一步把摄影效果控制也"挂"到这个3D感知骨干上。色温、曝光、饱和度、对比度四类效果被统一参数化为0到1之间的归一化数值 α，然后经过一个效果编码器——它由傅里叶特征编码的MLP和一个ControlNet风格的DiT辅助分支组成，把连续效果参数转换成效果token：

傅里叶编码提供了α的多尺度表示，使MLP既能区分邻近的控制值，又能建模平滑的非线性效果变化。效果token随后被逐层注入到主DiT块中：

这里需要强调一个本质区别：这个摄影效果控制不是做完几何变换后在2D画面上套滤镜，而是被嵌入了3D感知生成过程本身。当视点和焦距同时变化时，效果参数仍然能保持内容一致性——这正是ReX-Shot与常规图像编辑方法最根本的差异。常规方法在几何变换后再做颜色调整，往往会导致"滤镜与几何脱节"的伪影；而ReX-Shot的效果控制与几何生成共享同一套特征表示，因此能够自然地保持空间一致性。

全面超越基线：视点、焦距与摄影效果的联合控制实验

方法讲完，来看实验。论文在DL3DV-140测试集上从三个维度验证ReX-Shot：视点与焦距联合控制、纯视点控制、纯焦距控制，以及摄影效果控制。对比基线覆盖了新视角合成、超分辨率、指令编辑三类代表性方法。DL3DV-140是一个大规模真实场景数据集，包含140个多样化场景的密集多视角视频，非常适合评估重拍摄方法的泛化能力。测试时，论文从每个场景中选取一帧作为参考图像，然后随机采样目标视点和焦距，并施加不同的摄影效果参数。

表1和表2：视点与焦距联合控制下的定量比较。从PSNR、SSIM、LPIPS等指标看，ReX-Shot全面领先。更有意思的是，当焦距从1.0×拉大到3.0×时，普通新视角合成方法的指标掉得很快，而ReX-Shot的衰减幅度要小得多——说明它确实学到了焦距变化的规律，而不只是复用新视角合成能力。以PSNR为例，在1.0×焦距下ReX-Shot比最佳基线高出约1.2dB，而在3.0×焦距下优势扩大到2.5dB以上，这种差距随焦距放大而扩大的趋势，有力证明了ReX-Shot对焦距变化的建模能力。

图3：与新视角合成基线的定性比较。第一行是目标视点下焦距保持1.0×的结果，第二、三行固定视点把焦距分别放大到2.0×和3.0×。可以看到，普通NVS方法在焦距放大后出现明显的畸变、模糊和过度生成，而ReX-Shot在各级焦距下都保持了清晰的几何结构和纹理细节。特别值得注意的是，在3.0×焦距下，基线方法生成的图像中窗户和栏杆等重复结构出现了明显的"纹理粘连"现象，而ReX-Shot依然保持了清晰锐利的边缘。

表3：纯视点控制下的定量比较。即使只比视点控制这一项，ReX-Shot和LVSM、ViewCrafter这类专门做新视角合成的方法比也丝毫不逊色——说明双空间锚定并没有牺牲单维度能力来换取联合控制。这一结果非常重要，它表明ReX-Shot的联合控制能力不是通过"拆东墙补西墙"实现的，而是真正在多个维度上同时达到了领先水平。

图4：与TSD-SR的纯焦距控制定性对比。TSD-SR直接对参考图做2D超分放大，虽然能补出细节但几何结构会出现不自然的形变；ReX-Shot在3D感知条件下做超分，连续焦距放大时几何一致性依然稳定。从图中可以明显看到，TSD-SR在放大到3.0×时，建筑物的立面出现了弯曲和扭曲，而ReX-Shot保持了笔直的线条和正确的透视关系。

图5和图6：色温控制和曝光控制下与指令编辑基线的定性比较。指令编辑方法虽然能改色调，但当视点同时变化时内容一致性会被破坏；ReX-Shot在效果调整的同时保持了场景结构稳定。例如，在色温从3000K调到8000K的过程中，指令编辑方法生成的图像中墙面纹理发生了明显变化，而ReX-Shot仅改变了色彩氛围，纹理细节保持不变。

图7和图8：饱和度控制和对比度控制下与指令编辑基线的定性比较，结果趋势一致。在饱和度从0.2调到0.9的过程中，指令编辑方法在低饱和度时丢失了部分色彩细节，而ReX-Shot在整个范围内都保持了丰富的色彩层次。

表4：摄影效果控制下的定量比较。在色温、曝光、饱和度和对比度四项效果上，ReX-Shot的指标全面优于指令编辑基线。值得注意的是，ReX-Shot在效果控制的同时还保持了较高的结构相似度（SSIM），说明效果调整没有破坏场景的几何结构。

表5：消融实验的定量比较。从SD3-FT（用SD3直接微调）到TSD-SR-FT（换成TSD-SR骨干），指标有小幅提升；再加上特征空间投影FP后，各项指标出现显著跳升——这从数据上证实了双空间锚定中"特征空间投影"是关键中的关键。具体来看，加入FP后PSNR提升了约0.8dB，LPIPS降低了约0.02，这种幅度的提升在图像生成任务中是非常显著的。

图11：消融实验定性对比。上行是生成图像，下行是对应误差图，同一颜色标尺下暖色表示更大误差。TSD-SR-FT+FP的误差明显更低，特征空间投影对细节恢复和几何一致性都有直接贡献。从误差图可以清楚看到，没有FP的版本在物体边缘和遮挡区域存在大片暖色区域，而加入FP后这些区域的误差显著降低。

近实时交互与未来展望：ReX-Shot的局限与扩展方向

说完了效果，再来看效率。对一个"重拍"任务来说，如果调一个参数要等十几秒甚至几分钟，交互性就废了。论文对推理延迟做了详细对比：

图9：推理延迟对比。ReX-Shot的端到端延迟在0.3到0.4秒左右，远低于其他基线方法。这主要归功于两个设计：生成骨干是一步式模型，不需要多步扩散采样；特征投影器很轻量，没有引入不可控的计算瓶颈。用论文的原话来说，这达到了"近实时交互重拍摄"的水平。在实际交互场景中，用户拖动视角滑块或调整色温旋钮时，几乎感觉不到延迟，这为摄影辅助、虚拟布景等应用提供了实用基础。

图10：视点、焦距与色温联合控制的结果。当三个维度同时变化时，生成结果仍然保持内容一致性——场景结构、物体空间关系、光影变化都维持在合理范围内。这种三维联合控制能力在现有方法中是独一无二的，它使得用户可以在一个统一的交互界面中自由探索"如果我从另一个角度、用更长焦距、在更暖的光线下拍摄会是什么效果"这类问题。

不过论文也坦率地指出了当前版本的局限。首先，所有生成都依赖单张参考图估计出的几何，当参考视角过于极端、或者场景中存在大量遮挡时，几何误差仍然可能被放大。例如，当参考图像是从非常低的角度拍摄时，目标视角切换到俯视角度会产生较大的几何偏差。其次，当前方法针对静态场景的静止物体设计，对于动态内容（比如行人、飘动的树叶）还没有建模。这意味着ReX-Shot目前无法处理包含运动物体的场景，限制了其在街拍、户外等动态环境中的应用。最后，效果控制目前只涵盖色温、曝光、饱和度、对比度四类基础参数，更深层的摄影风格迁移还没有被覆盖。例如，模拟特定镜头的散景效果、胶片颗粒质感等高级摄影风格，超出了当前框架的能力范围。

这三个问题也自然指向了未来的扩展方向：把效果类型扩展到更多摄影参数甚至风格级控制；引入动态场景建模来支持带运动内容的重拍；以及探索多图输入或先验增强来进一步提升极端视角下的几何稳定性。考虑到ReX-Shot已经跑通了"三维感知+摄影效果控制"这条路线，后续延伸的想象空间相当大。例如，结合视频扩散模型，ReX-Shot有望扩展到视频重拍摄领域；结合多模态大模型，可以实现文本驱动的重拍摄控制。这些方向都值得后续研究者深入探索。

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：

这篇论文到底在解决什么问题？单图重拍旨在从单张参考图合成指定视角、焦距和参数化摄影效果的新拍影像。南京大学提出ReX-Shot，融合双空间投影与生成式超分先验，首次实现三者统一联合控制，效果全面超越现有基线。

这篇工作最值得看的点是什么？在视点控制、焦距控制和摄影效果控制三个任务上均全面超越代表性基线，支持联合控制，推理速度接近实时

这篇工作的边界或风险在哪里？优点：首次提出统一框架联合控制视点、焦距和摄影效果；双空间投影有效缓解几何不精确问题；利用超分辨率先验解决焦距放大的细节恢复；支持近实时交互。缺点：仅支持焦距放大，不支持缩短；视点变化范围有限；每次前向传播仅支持单一摄影效果。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★★★

首次将视点、焦距和摄影效果控制统一进单图像重拍摄框架，"特征空间隐式投影"和"焦距放大等于超分"这两个洞察都很巧妙，属于既有理论价值又有工程实用性的创新。特别是"焦距放大与超分辨率在数学上等价"这一观察，为跨领域方法迁移提供了新的理论视角。

实验合理度：★★★★☆

对比基线覆盖了新视角合成、超分辨率、指令编辑三个方向的代表方法，公平性不错；但缺少与更新版本的多视角生成模型的直接对比，略有遗憾。此外，消融实验设计清晰，逐步验证了每个组件的贡献，但未对特征投影器的预训练策略进行单独消融，这是一个可以进一步深挖的点。

学术研究价值：★★★★★

"焦距放大与超分辨率在数学上等价"这个结论和"用特征空间投影规避几何误差"的思路都极具启发意义，为后续工作打开了新方向。特别是双空间锚定的思想，可以推广到其他需要几何感知的图像生成任务中，如三维编辑、虚拟试穿等。

稳定性：★★★☆☆

常规基准上表现稳定，但极端视角和严重遮挡场景下几何误差仍可能被放大，鲁棒性还需要更多真实场景验证。论文在DL3DV-140上的测试场景相对规整，对于户外复杂场景的表现还有待检验。

适应性以及泛化能力：★★★☆☆

静态场景表现优秀，但动态内容（行人、随风摆动的物体等）目前无法处理，泛化到视频和动态场景还有距离。此外，对于非朗伯表面（如镜面反射、透明物体）的处理也未见讨论。

硬件需求及成本：★★★★☆

单步生成加轻量特征投影让推理成本可控，推理延迟0.3到0.4秒，对消费级GPU友好，具备实时交互的基础条件。不过训练阶段需要较大的计算资源，论文未披露具体训练成本。

复现难度：★★★★☆

整体流程描述清晰，项目页已开放，但要完全复现需要适配VGGT、DINOv2、TSD-SR多个预训练模型，工程门槛不算低。特别是TSD-SR的蒸馏过程需要专门的训练流程，可能增加复现难度。

产品化成熟度：★★★★☆

速度和效果已接近产品化门槛，在摄影辅助、电商展示、虚拟场景等方向有落地潜力；但需要先补齐动态场景支持和更多效果类型。如果能够集成到现有的图像编辑软件中，将极大提升摄影师的工作效率。

可能的问题：

目前仅四类摄影效果，覆盖面有限；单图几何估计在极端视角下仍易失真；动态场景未支持；训练依赖DL3DV-140等大规模数据，小数据场景泛化待验证。此外，效果控制的连续性与物理真实性之间的平衡也需要进一步研究——例如，过高的饱和度控制值可能导致颜色溢出。

<