热红外3D重建不再把温度当颜色：PhysIR-Splat用辐射建模+VGGT-IR提1.36dB

龙哥导读

普通3DGS把热辐射当灰度，换视角后容易漂浮、重影；PhysIR-Splat把温度、发射率、环境反射与大气衰减写进渲染，再用VGGT-IR直接恢复相机和初始几何。在TI-NSD上，它把平均PSNR从Veta-GS的35.97 dB提高到37.33 dB，热红外三维重建最难的物理与初始化问题被放进了同一条链。

夜间、烟尘遮挡或照明剧烈变化时，普通RGB相机看到的是“光够不够”，热红外相机看到的却更接近物体自身辐射。问题是，过去很多3DGS方法仍把热图像素当作一种灰色纹理去拟合，结果可能在训练视角看着像，换个位置就出现漂浮、重影与边缘撕裂。

PhysIR-Splat最值得看的进步，是把“热图长什么样”拆回“温度如何发射、环境如何反射、空气如何衰减、传感器如何响应”这条物理链。它并不只在网络末端补一个校正器，而是改变每个Gaussian携带的属性以及每条射线的合成方式。

图1｜TI-NSD热红外定性对比。三行依次展示室内、室外与无人机场景，七列为Ground Truth、Instant-NGP、3DGS、Thermal3D-GS、Veta-GS、PhysIR-Splat和PhysIR-Splat+VGGT-IR；红框放大局部边缘。图中可见旧方法的模糊、局部错位和漂浮伪影，最后两列更接近真值，但定量幅度仍以表2指标为准。来源：论文Figure 5。

先看第二行远距离室外场景：3DGS几乎把红框区域抹成一片，Thermal3D-GS仍有明显模糊，Veta-GS出现局部漂浮结构；PhysIR-Splat恢复了更连续的目标轮廓，加入VGGT-IR后边界进一步稳定。第三行的大视差场景也能看到，错误不只是“细节少一点”，而是几何与热纹理没有落在同一位置。

对应的TI-NSD平均结果是37.33 dB PSNR、0.962 SSIM、0.150 LPIPS；Veta-GS为35.97、0.958、0.169，PSNR提升1.36 dB。PSNR和SSIM越高越好，LPIPS越低越好，三个方向一致，说明改善并非只来自某一个评价口径。

01 热红外3D重建，为什么不能照搬RGB逻辑

RGB成像的主角通常是外部光源：光照到物体表面，被材质反射，再进入相机。热红外成像则同时包含物体因温度产生的自发辐射，以及环境辐射被物体表面反射的部分；辐射在传播途中还会受大气影响，最终再经过传感器的非线性响应变成灰度或伪彩色。

这意味着，同一块表面从不同方向看，信号变化未必只是普通的“视角相关颜色”。温度、发射率、表面法线、周围热环境、距离和相机响应都可能参与，若全部压进一个颜色参数，模型很容易用错误几何解释辐射变化，或用纹理补偿位姿误差。

第二个难点来自初始化。热图常见低纹理、低对比度和非均匀性校正残差，传统COLMAP依赖的关键点检测与跨视角匹配因此更不稳定。渲染物理不对，会让优化目标失真；相机和点云起点不稳，又会让正确物理模型也难以收敛。PhysIR-Splat和VGGT-IR正好分别对准这两条误差链。

02 从ThermalGaussian、Thermal3D-GS到PhysIR-Splat

ThermalGaussian把RGB与热红外放进多模态3DGS，通过多模态初始化、红外专用Gaussian和跨模态正则共同重建两种外观。它的重要贡献是证明RGB几何线索可以帮助热红外，但核心仍偏向多模态表示与约束，物理量并没有像本论文这样直接成为每个Gaussian的温度、发射率和环境辐照属性。

Thermal3D-GS更进一步，引入大气传输、热传导和温度一致性等物理先验，并构建了TI-NSD数据集。按照PhysIR-Splat论文的归纳，这类方法通常仍把3DGS颜色视为发射辐射，再用ATF、TCM等物理启发模块校正渲染结果；物理被用于“修正”，还没有完全进入基元级辐射生成过程。

PhysIR-Splat的区别是把Gaussian重新定义成一个微小热辐射表面：几何中心μ与协方差Σ仍负责位置和形状，同时显式学习温度T、发射率e、法线n和红外专用不透明度αIR。路线从“先渲染一个热颜色，再补物理”变成“先按物理生成辐射，再完成体渲染与传感器映射”。

03 Figure 2全链路：一个热像素是怎样被“算出来”的

Figure 2从左到右给出完整成像链。环境热辐射先照到场景，Gaussian用μ、Σ描述几何，用T、e、n描述热辐射属性，用αIR描述红外射线穿过该基元时的吸收与遮挡；随后自发辐射与环境反射相加，乘上随距离变化的大气透射率，最后交给单调MLP映射为相机灰度。

图2｜PhysIR-Splat渲染管线。每个Gaussian携带几何、温度、发射率、法线和红外不透明度；中部把环境反射(1−e)I(n)与自发辐射eB(T)相加，之后乘以e−βd表示大气衰减，再由单调MLP拟合传感器辐射到灰度的响应。来源：论文Figure 2。

第一模块是Gaussian物理属性。μ和Σ沿用3DGS的空间中心与协方差，法线n由Σ最小特征值对应方向初始化并继续优化；温度通过softplus加最低温度保证取值合理，发射率通过sigmoid限制在0到1。

第二模块是局部出射辐射。模型没有让网络任意生成一个热颜色，而是用温度决定自发辐射，用发射率决定“自己发多少、环境反多少”，法线则决定表面从周围热环境接收多少辐照。

第三模块是红外专用体渲染。每条相机射线按从近到远的顺序累积Gaussian贡献，前面的基元会遮挡后面的基元；与RGB共享几何，但红外分支拥有独立αIR，避免把可见光透明度直接套到热辐射吸收上。

第四与第五模块分别是大气衰减和辐射响应。距离越远，透射率越低；进入相机的辐射再经过一个权重受正值约束的窄MLP，保证输出随输入单调变化。这五步把材质、传播、遮挡和传感器响应分开，使误差更有机会回到正确变量，而不是全挤进“颜色”。

04 核心公式：S≈eB(T)+(1−e)I(n)到底在说什么

先看e。发射率描述真实表面相对理想黑体的辐射能力，取值在0到1之间；在论文采用的不透明、近似漫反射设定下，反射率写成1−e。e接近1时，S主要由自身温度决定；e较低时，环境反射占比上升，同样温度的两种材料也可能呈现不同热信号。

B(T)不是普通线性亮度，而是普朗克谱辐射Bλ(T)在相机波段λmin到λmax上的积分。论文预计算B(T)及其导数查找表，一方面避免训练时反复计算指数函数，另一方面让温度到辐射的映射保持数值稳定且可微。

I(n)描述来自整个环境方向的热辐照。论文把环境辐射写成低阶球谐函数，再与Lambert余弦核卷积，因此表面朝向n变化时，接收到的环境热量也随之变化；零、一、二阶卷积系数分别对应1、2/3和1/4的归一化权重。

这条公式的直觉很像一笔“热预算”：相机收到的不是温度本身，而是“材料按温度自发的辐射”与“材料反射的环境辐射”之和。如果把两者都塞进颜色，换视角或换环境后很难保持一致；把e、T、n与环境项拆开，才有可能在新视角复用同一组物理属性。

05 红外专用不透明度：不是把RGB的α复制一份

标准3DGS的不透明度主要服务于可见光颜色合成，但热红外的吸收与自发辐射由另一套材料和波段机制决定。PhysIR-Splat先把Gaussian密度沿射线积分成光学厚度τ，再定义αIR(u)=1−exp[−siwi(u)]；w表示像素射线与Gaussian投影足迹的重叠，s把等效厚度和场景统一消光系数结合起来。

论文用目标中心不透明度α*校准场景级消光系数，室内设0.6、室外设0.4。这样做不是为每个像素自由多加一个参数，而是让不同尺度、朝向的Gaussian在射线积分后得到更一致的红外吸收量。

射线合成时，第i个Gaussian的贡献还要乘前方累计透射Tacci−1，即前面所有Gaussian的(1−αIR)连乘。αIR决定“这一层吸收并发出多少”，Tacc决定“相机还能看见后面多少”，两者共同把几何遮挡与热辐射贡献接起来。

06 e−βd：为什么远处的热辐射不能原样送到相机

论文在均匀大气近似下使用Tatm(d)=exp(−βd)。d是Gaussian到相机的距离，β是可学习消光系数；d增加时指数项减小，意味着传播路径越长，抵达传感器的有效辐射越少。

最终像素辐射写成沿射线的前向累积：每个Gaussian贡献“前方未遮挡比例 × 自身红外不透明度 × 大气透射率 × 局部出射辐射”。这个顺序很重要，因为局部吸收、几何遮挡和路径衰减是三件不同的事，不能用一个颜色残差互相顶替。

最后的单调响应ψθ(gsS+b)吸收全局增益、偏置和相机的辐射到灰度非线性。网络只有三层且权重通过softplus保持为正，因此输入辐射增加时输出不会反向下降；模型可以拟合相机，却不能任意颠倒物理量的大小关系。

07 Figure 3：VGGT-IR怎样绕开热图SfM脆弱点

即使渲染模型正确，初始化的相机位姿和点云若偏得太远，后续3DGS仍可能陷入坏解。VGGT-IR不再走“检测关键点—跨图匹配—几何验证—三角化”的传统链，而是一次前向传播，从N张热红外图像以及可选的同视角RGB中直接回归相机、深度和稠密点图。

图3｜VGGT-IR初始化流程。每个视角的热红外图与可选RGB分别进入适配后的DINOv3前端，特征归一化后相加并转成token；多视角Transformer交换跨帧信息，Camera Head回归相机参数，DPT稠密预测头输出深度图和世界坐标点图，之后再以轻量bundle adjustment细化。来源：论文Figure 3。

第一步是模态编码。论文使用蒸馏DINOv3 ViT-L/16特征，把RGB patch embedding三个通道的权重求平均，适配成单通道热红外入口；如果有配准RGB，则两种模态分别归一化后相加，没有RGB时就只保留IR分支。

第二步是跨视角token交互。每个视角的特征被展平为token，第一帧加入固定参考嵌入，12层交替注意力Transformer在单帧与多帧信息之间交换，目标是让相机关系和场景结构通过全局上下文一起推断，而不是依赖少数局部角点。

第三步是双头输出。相机头用四层注意力和线性回归器预测单位四元数q、平移t与焦距f；DPT稠密头经3×3卷积输出每个像素的深度D和世界点P。随后轻量bundle adjustment最小化重投影误差，细化相机与被充分观察的点集，再把它们交给PhysIR-Splat初始化。

训练时模型以IR为中心，仅以0.2概率加入RGB，让它在RGB缺失时仍能工作，同时在有配对数据时利用纹理。VGGT-IR的价值不是替代后续优化，而是把热图最容易失败的“第一步”从离散关键点匹配改成跨视角稠密预测，再用BA做几何收口。

08 TI-NSD结果：1.36 dB来自哪些场景

TI-NSD包含480×720分辨率的室内、室外和无人机场景，使用7.5—13.5 μm波段的Zenmuse XT热相机采集。所有比较方法使用数据集提供的COLMAP相机与初始点云，PhysIR-Splat另报告VGGT-IR初始化版本；每隔8张图取1张测试，每个场景训练30000次。

分场景看，PhysIR-Splat+VGGT-IR在室内达到38.41/0.967/0.228，在室外达到35.57/0.952/0.126，在UAV场景达到38.12/0.969/0.096，顺序均为PSNR/SSIM/LPIPS。Veta-GS对应37.07/0.963/0.240、33.78/0.947/0.168、37.05/0.963/0.100。

提升最明显的是室外：PSNR高1.79 dB，LPIPS从0.168降到0.126。这个结果与方法设计吻合，远距离、大视差和低纹理正是大气衰减与初始化误差更容易放大的区域。

平均1.36 dB不应被理解成单一模块魔法，而是“更可靠位姿 + 红外不透明度 + 距离衰减 + 辐射分解”共同减少了模型走捷径的空间。只用PhysIR-Splat而不换初始化时，平均结果已达到36.47/0.960/0.158，说明渲染物理本身有贡献；VGGT-IR再把它推到37.33。

09 Figure 6：RGB与热红外能否同时守住边界

多模态实验使用RGBT-Scenes，热相机为FLIR E6 Pro，波段7.5—13 μm。数据中的热图采用Ironbow伪彩色，论文按每个场景的色条做一次颜色到线性温度灰度的标定：训练使用单通道热信号，评估和展示时再用同一色条正向着色。

图4｜RGBT-Scenes多模态定性比较。前两行是Building场景的RGB与热红外，后两行是DailyStuff场景的RGB与热红外；六列依次为Ground Truth、ThermoNeRF、3DGS、ThermalGaussian、PhysIR-Splat和PhysIR-Splat+VGGT-IR。红框显示边缘与小目标区域，旧方法可见过度平滑、跨模态泄漏或局部重建崩塌。来源：论文Figure 6。

Building场景里，ThermoNeRF的建筑轮廓和热边缘明显变软，3DGS与ThermalGaussian也存在局部泄漏；PhysIR-Splat最后两列更接近真值的尖锐边界。DailyStuff低纹理区域更容易暴露问题：旧方法会把桌面热分布抹平或把背景结构带进目标，VGGT-IR版本对小物体和热边界保持更完整。

量化上，PhysIR-Splat+VGGT-IR的热红外平均结果为29.09 dB PSNR、0.902 SSIM、0.119 LPIPS，RGB为27.44 dB、0.885、0.142。ThermalGaussian对应热红外25.73/0.878/0.171、RGB 24.13/0.849/0.188，差距同时出现在两种模态。

这组实验说明红外专用α并没有把共享几何彻底割裂，反而通过减少跨模态纠缠，让RGB与热红外都受益。它支持“同一几何、不同辐射与不透明度”的设计，但不等于模型已经覆盖任意未配准传感器；RGBT-Scenes本身提供的是成对多模态场景，跨设备标定仍是现实工程环节。

10 消融实验：三块拿掉，为什么都掉到36.5附近

完整模型在TI-NSD平均为37.33/0.962/0.150。去掉VGGT-IR后是36.47/0.960/0.158，去掉红外专用不透明度后是36.46/0.958/0.162，去掉大气衰减后是36.56/0.957/0.157。三个版本的PSNR都落在36.46—36.56 dB，说明它们不是可随意删除的装饰项。

VGGT-IR的损失在室外最明显：PSNR从35.57降到34.25，论文折算为3.7%的下降。热图纹理弱、距离更长时，COLMAP起点偏差更容易被带进Gaussian位置和辐射参数，后续优化只能在错误几何上拟合外观。

红外不透明度去除后，室内PSNR从38.41降到37.20，平均LPIPS从0.150升到0.162。共享RGB透明度会重新纠缠两种模态的吸收与遮挡，因此即使几何相同，热辐射贡献也不再有独立表达空间。

去掉e−βd后，室外PSNR从35.57降到34.50，平均SSIM从0.962降到0.957。大气项的作用不是让近景更锐，而是防止模型把远处传播损失误记成物体温度或材质属性，从而高估远场辐射。

11 学到的发射率有物理意义吗

论文在RGBT-Scenes中选择多种材料的5×5像素块，利用每条相机射线上贡献最大的16个Gaussian及其合成权重，读出模型估计发射率，再与7.5—13 μm波段的公开文献参考值比较。大多数常见材料点落在理想对角线附近，说明参数并非完全退化成随意的颜色编码。

但玻璃和钢材偏差明显。原因并不神秘：这类材料具有更强镜面反射，周围热环境、观察方向与表面状态会显著改变观测，而模型主要采用漫反射近似；热红外本身对低发射率、强反射材料也更难分离温度与反射。

因此“物理一致”应理解为参数化和成像链更符合辐射规律，并在常见材料上呈现合理相关性；它不等于已经成为可替代专业标定的绝对温度与发射率测量仪。论文提供的是模型估计与文献值的相关分析，不是跨传感器、跨环境的计量认证。

12 训练与落地成本：物理更清楚，不代表系统已经轻量

PhysIR-Splat在单张RTX 4090 24GB上训练，每个场景30000次迭代，使用Adam和余弦退火。论文没有给出足以支持“实时重建”或“现场秒级建模”的完整时延数据，因此更稳妥的定位仍是逐场景优化的高质量热红外新视角合成，而不是开箱即用的实时热测绘系统。

从工程角度看，最现实的价值在于工业巡检、建筑热诊断、农业监测和夜间数字孪生中的离线或准离线建模：先用多视角热图建立稳定三维热场，再做热点定位、跨视角复查与历史比较。真正落地还要核算相机辐射标定、跨模态同步、场景训练时间、天气变化和温度漂移，而不能只看渲染分数。

13 局限集中看：四条边界决定它能走多远

第一，传播模型假设清晰路径、低气溶胶和可忽略的长波/远红外散射。均匀β和e−βd适合较清洁、稳定的大气条件，但浓烟、雾霾、强湿度梯度或路径温度快速变化时，单一消光系数可能不足；论文没有证明重烟或复杂天气中的泛化。

第二，表面主要按漫反射处理。玻璃、抛光钢等镜面材料在发射率相关分析中已显示较大偏差，说明环境反射不能只由低阶球谐和法线平滑表达；镜面方向性、表面粗糙度和更复杂BRDF仍是缺口。

第三，数据集与设备覆盖有限。核心渲染结论来自TI-NSD和RGBT-Scenes，初始化实验来自Multi-Spectral Dataset；对未见热相机、不同波段响应、不同天气、季节和区域材料的迁移能力尚未建立，不能把当前指标直接外推到所有热成像任务。

第四，代码可复现状态仍需等待确认。论文给出了官方仓库地址并写明代码将公开，但现有核验材料没有确认仓库内容、许可证或可运行实现，因此本文不把“已经完整开源”作为事实。读者若要复现，应以官方仓库后续实际可访问内容、依赖与模型权重为准。

14 龙哥点评：真正的价值是让变量各负其责

第一，别让一个“颜色”参数承担五种物理原因。温度、发射率、环境反射、距离衰减和传感器响应都会改变热像素，如果模型只有颜色可以改，它当然能在训练图上拟合，却很难在新视角保持因果一致。PhysIR-Splat最有价值的设计，是把这些变量拆开并重新接回可微渲染链。

第二，初始化不是前处理杂活，而是模型能力的一部分。VGGT-IR的消融下降与位姿RMSE共同说明，后端再精细也救不回所有坏起点。对低纹理、跨光谱和弱特征任务，与其不断给SfM打补丁，不如重新思考相机与几何如何从多视角上下文中直接估计。

第三，高分要和可复现、数据覆盖及部署代价一起看。1.36 dB值得重视，因为三项指标和定性图方向一致，消融也能解释收益来源；但代码尚未确认可用，跨传感器与复杂天气泛化未证明，逐场景30000次优化也意味着产品化不能只复制论文命令。

对研究者，这篇论文提供了一个很清楚的范式：把观测方程拆成有物理含义、可优化且可消融的模块。对工程团队，它给出的不是“热相机从此万能”，而是一条更可信的路线图——先把热辐射与几何对齐，再讨论巡检告警、温度场比较和数字孪生应用。

15 龙迷三问

如果场景从清洁空气换成浓烟、雾和强湿度梯度，单一β会先在哪里失效？可能是远场亮度被系统性高估，也可能是模型把路径辐射误吸收到温度、发射率或响应MLP。下一步值得加入空间变化介质或天气条件控制实验。

如果没有配对RGB，VGGT-IR在新相机、新城市和新材料上还能保持多少初始化优势？论文证明IR-only入口可用，也通过0.2概率RGB训练保持红外中心，但跨设备域移、合成IR偏差和传感器响应差异仍需要更大规模真实序列验证。

评价能否从图像相似度继续走向任务价值？工业巡检真正关心的是热点定位误差、缺陷检出率、跨日期温差稳定性和维护决策，而不只是PSNR。把物理参数与下游诊断闭环接起来，才能判断这套表示是“更会渲染”，还是“更会测量与决策”。

总结

PhysIR-Splat把热红外3DGS从颜色拟合推进到基元级辐射建模：温度决定带内自发辐射，发射率平衡自发与环境反射，法线决定环境辐照，红外不透明度控制吸收与遮挡，e−βd处理传播衰减，单调MLP完成传感器响应。VGGT-IR则用模态适配、跨视角Transformer、相机/稠密双头和轻量BA，补上低纹理热图的初始化短板。

实验中，TI-NSD平均达到37.33/0.962/0.150，较Veta-GS提升1.36 dB；RGBT-Scenes热红外与RGB分别达到29.09/0.119和27.44/0.142的PSNR/LPIPS组合，三项关键消融都退化到约36.5 dB。龙哥认为，它真正打开的可能性，是让热红外三维场景不再只是“灰色外观资产”，而成为能够继续承载材料、温度、传播与传感器信息的物理表示。

本文依据论文公开版本、图表与实验设置整理，指标含义和适用范围以原文为准。

本文仅代表个人理解，不构成对论文结论的替代审核。建议对关键数字、实现细节、代码状态和后续版本继续阅读官方资料核对。