I2WM与东京大学RAW目标检测：跨传感器精度提升9.25点

龙哥导读

明明拍的是相似场景，换一台相机，数据之间为什么会出现明显差距？RAWild把注意力放回成像源头：让同一个模型先读懂当前原始信号的分布，再现场生成全局曲线和局部颜色变换。它处理的核心不是某一种设备，而是怎样让模型面对不同相机时，自动找到更合适的输入处理方式。

值得补充的是，官方项目仓库已经标注这项工作被 NeurIPS 2026 接收。它讨论的是一个很实际的问题：当数据来自不同相机、不同曝光和不同光照环境时，能否先在输入端消化这些差异，再把更稳定的信号交给后续视觉任务。

看起来属于同一类的数据，未必真的处在同一个数值世界里。接入另一种相机、换一个光源，或者调整曝光后，画面内容可能仍然相似，传给模型的信号分布却已经变了。

这种变化在 RAW 数据上尤其直接。传感器的光谱响应、曝光和量化方式，都参与决定像素最终的数值。保留下来的原始信息越丰富，模型需要面对的成像差异也越具体。

RAWild 将研究重点放在这一环节：让共享网络根据当前输入，预测合适的全局响应和局部颜色变换，先把不同相机带来的差异转化为可学习、可调整的处理参数。

这套方法的关键，是把输入处理从固定配方变成随图像变化的过程：先观察整体分布，再分别调整全局强度与局部颜色关系。至于这种处理能带来多大实际收益，论文随后在目标检测实验中给出了量化结果。

01｜先看结果：多种传感器放在一起，模型表现如何？

混合传感器评测直接对应 RAWild 想解决的问题：当多种设备的数据共同参与训练与测试，一组共享参数能否有效处理其中的成像差异？

论文表 2 给出了 混合传感器数据 上的比较。下表将 mAP@50 统一写为百分制；这一指标衡量 交并比匹配阈值为 0.50 时的目标检测平均精度。

从 26.03 到 35.28，提升来自同一数据协议下的直接比较。 实验沿用原始训练与测试划分，对标注进行对齐修正，选取四种传感器共同覆盖的五类目标并平衡类别，最终形成 3,500 张训练图像、2,064 张测试图像。表中各方法都在这一子集上评估。

在这样的设置下，适配模块需要随着输入改变处理参数。来自不同设备的强度分布与通道响应，成为网络需要主动利用的信息。

图 1｜原论文图 5 的检测可视化，包含不同处理方法的预测框与 标准彩色图像参考。

接下来的问题是：RAWild 怎样把“相机之间的差异”，转化为网络可以学习和调整的变量？

02｜理解相机差异，要从信号分布开始

普通照片通常已经经历白平衡、颜色变换和色调映射等 图像信号处理。RAW 则更接近传感器采集到的信号，保留了较高位深下的强度变化，为视觉任务提供了更灵活的处理空间。

与此同时，不同相机形成了各自的输入统计。

曝光与照明，影响整体强度。 同样的目标，在暗光和强光下会落入不同的信号区间。即使完成数值归一化，图像中暗部、中间调和高光的分布仍可能相差很大。

光谱响应，影响通道关系。 不同传感器对各个波长的敏感度不同，光源的光谱组成也会改变三通道之间的比例。颜色相关的输入特征随之发生变化。

量化与饱和，影响信息的表达。 位深决定信号如何离散化，动态范围影响暗部与高光的记录方式。这些因素共同塑造了模型接收到的数值分布。

图 2｜原论文图 1 展示四个 RAW 数据集中的场景样例与强度直方图。

一幅图像内部的变化同样重要：窗边与室内、光照区域与阴影区域，可能需要不同的局部处理。因此，RAWild 将适配拆成两个尺度：全局上调整响应，局部上细化颜色变换。

03｜先读输入分布，再决定怎样处理

RAWild 的参数预测网络有两类信息来源。一类是卷积分支提取的空间与纹理特征；另一类是描述整体像素分布的统计信息。

这两类信息分别回答两个问题：图像中的内容怎样分布？整幅图的强度与通道统计处于什么状态？

图 3｜节选自原论文图 4：图像特征与分位数描述共同驱动网络，预测全局曲线和局部网格。

用 192 个数，描述三通道的整体统计

论文的直方图引导采用逐通道分位数描述：每个通道取 64 个分位点，三个通道合计 192 个数值，记录像素强度在不同累计比例位置上的取值。

这相当于为输入建立一份紧凑的统计描述：暗部大致落在哪里，中间强度如何分布，较亮像素处于哪个区间，三个通道之间存在怎样的差异。

分位数描述经过小型多层感知机，生成 自适应层归一化 的缩放与平移参数，进而调制 Transformer 中的特征。空间分支保留图像内容，统计分支提供整体分布，两者共同参与适配参数的预测。

同一个网络，由此能够随当前输入调整处理方式。 每张图像对应自己的曲线与网格，而这些参数都由共享的网络生成。

04｜曲线与网格，分别承担什么工作？

拿到预测参数后，RAWild 依次执行全局映射与局部变换。输入是经过黑电平校正、归一化的线性 RAW；处理结果随后交给检测网络。

这条处理链可以写成：

线性 RAW → 逐通道全局曲线 → 局部颜色变换 → 目标检测。

全局曲线：给不同强度分配合适的响应

一条 Bézier 曲线可以灵活调整暗部、中间调和亮部的响应。RAWild 为每个颜色通道预测一条曲线，同一通道的所有像素共享这一映射。

图 4｜全局曲线映射示意：三通道独立调整，单个通道内全图共享，黑白端点固定。

曲线形状由控制点决定。论文固定黑白端点，并学习内部控制点；对于 n 阶曲线，三个通道合计需要 3(n−1) 个自由系数。少量参数就能描述整张图像的逐通道响应。

控制点的取值范围约束输出区间；当控制点有序时，曲线保持单调不减，维持输入强度的相对次序。

在学习方式上，RAWild 采用残差式参数化：从均匀分布的参考控制点出发，预测经过 tanh 限幅的偏移，再裁剪到合法范围。当残差为零时，曲线对应恒等映射。网络由此从稳定的起点逐步学习需要的调整。

局部网格：把位置和亮度一起纳入处理

全局曲线处理整幅图像的响应，双边网格继续表达区域之间的差异。它有三个索引维度：水平位置、垂直位置和亮度。每个网格单元对应一个 3×3 颜色变换矩阵。

图 5｜局部双边网格示意：沿空间与亮度查询变换系数，将局部调整传递到每个像素。

论文采用约 H/16 × W/16 的网格空间分辨率，亮度方向设为 8 层。对于一个像素，系统查询相邻的 8 个网格顶点，通过三线性插值获得对应的矩阵。

亮度索引取自曲线映射前输入的三通道平均强度。这样，全局曲线在训练中调整时，当前图像用于查询网格的亮度坐标保持稳定。

矩阵的参数化也有明确分工。RAWild 将其写成 M = D(I₃ + A)：I₃ 为单位矩阵，D 负责各通道的正增益，A 的非对角项负责有限幅度的通道混合。

其中，对角增益采用 exp(tanh(·))，范围约为 0.37～2.72；通道混合采用 k·tanh(·)，主要设置为 k=0.05。较大幅度的强度调整和较小幅度的通道混合得到分别控制。

网格预测头零初始化时，矩阵从单位矩阵开始。与全局曲线的恒等初始化配合，两部分共同建立稳定的学习起点。

图 6｜节选自原论文图 4：低照度与过曝光样例经过全局曲线、完整网格处理后的中间结果及对应曲线。

从整体看，曲线负责每个通道如何响应不同强度，网格负责不同位置和亮度下怎样组合通道。两者的作用沿处理链衔接，最终服务于检测特征的提取。

05｜更多成像变化，以及支撑设计的实验

在方法之外，RAWild 还构建了物理启发的 RAW 模拟流程，扩展训练或评估所覆盖的成像条件。

模拟在黑电平校正后的线性 RAW 空间展开。相机光谱响应建模参考了包含 28 台相机的光谱敏感度数据库，对逐通道响应进行低维描述，再结合光源和颜色响应关系，构造跨相机变换。

完整流程覆盖曝光、照明色温与色偏、目标相机光谱响应、通道串扰、黑电平偏移、饱和及量化等因素。模型由此接触到更丰富、与成像机制相关的输入变化。

图 7｜原论文附录图 14：以同一幅真实 RAW 为输入，模拟不同色温下的图像变化。

收益也出现在不同骨干与 RAW 场景中

论文在目标检测框架下，使用 卷积骨干与视觉变换器骨干 等骨干进行比较。下面列出表 1 的代表性结果，最优基线取同一设置下其他方法的最高分，数值统一为百分制检测精度。

从低照度相关数据到不同成像设置，输入端适配在这些代表性实验中都带来了收益。

分布引导、全局曲线与局部网格，各自贡献了什么？

在 低照数据与卷积骨干 设置下，论文分别移除关键组件进行消融，结果如下。

这些结果与方法的分工相呼应：分布信息帮助选择处理参数，全局曲线调整整体响应，局部网格表达区域差异。

曲线的学习方式同样重要。普通 Bézier 参数预测得到 65.11 的 mAP@50，采用残差式参数化的完整模型达到 69.09。这进一步体现了参数约束和初始化设计对适配学习的作用。

06｜把适配放到信号入口，让感知更贴近成像

RAWild 将相机差异转化为一组具有明确含义、可以逐图预测的处理参数。共享网络感知输入分布，全局曲线与局部网格执行变换，检测网络在此基础上提取目标信息。

这一思路有三个值得关注的特点。

首先，统计信息成为处理决策的一部分。 强度分布与通道关系直接参与参数预测，让输入自身为适配提供线索。

其次，全局与局部各司其职。 平滑的逐通道响应，与空间和亮度相关的局部变换，在一条简洁的处理链中协作。

最后，学习建立在有结构的自由度上。 控制点、通道增益、有限通道混合和恒等初始化，为网络提供了可解释的调整方式。

后续，真实、类别均衡的多传感器数据与更大规模的跨设备评测，将继续推动这一方向。附录也将适配思路引入 分割模型，在 RAW 衍生、离线处理后的 8位彩色图像输入上探索语义分割，拓展到更多视觉任务。

让一个模型面对多种相机，关键在于把成像差异纳入学习。RAWild 将这一步放在了视觉感知的入口。

07｜放到现有方法里看，RAWild究竟补上了哪一块？

读到这里，龙哥觉得有必要把 RAWild 放回同类工作里看。否则很容易产生一种错觉：它只是给图像加了一套更复杂的调色模块。其实它真正改变的是“谁来决定怎样处理输入”。传统做法往往先规定一条固定处理链，或者针对一个数据集单独训练适配器；RAWild 则让当前图像的分布直接参与参数生成。

最简单的基线采用线性输入处理，稳定却难以覆盖曝光、光谱响应和局部照明共同变化的情况。其他适配方法已经开始让网络学习原始传感器数据的处理，但在混合设备的共同协议下，最好基线仍停在 26.03，RAWild 达到 35.28。这个差距说明：多个传感器真正混在一起时，只增加网络容量不一定够，处理参数还要随输入发生有结构的变化。

它与常见的图像增强网络也不完全相同。增强模型常把“看起来更亮、更自然”当成重要目标，而 RAWild 的最终裁判是下游检测。换句话说，它不必把图像修成最讨好人眼的照片，只要能把有利于识别目标的信号交给检测器即可。面向机器视觉的好图，不一定等于面向人眼的好图。

这也是为什么全局曲线和局部网格的组合值得注意。全局曲线擅长处理整幅图的强度结构，双边网格则可以根据位置与亮度改变通道关系。如果只保留前者，局部阴影和混合光照难以照顾；如果只保留后者，模型又要用大量局部参数承担本可由一条平滑曲线完成的工作。论文消融中，移除两者都会明显掉分，与这种分工逻辑相互印证。

08｜从工程角度看，这个方法为什么有吸引力？

研究论文最容易让人兴奋的，是那张漂亮的结果表；工程团队真正要问的，却是另一组问题：换相机后要不要重新收数据？每种传感器是否都要维护一套模型？输入处理能否解释？故障出现时能不能定位？RAWild 的价值，恰好落在这些问题的交叉处。

第一，减少“一种相机一套模型”的维护压力

共享参数处理多种传感器，意味着团队有机会把适配能力集中到一个入口模块，而不是为每台设备复制完整检测系统。对车载摄像头、机器人、多品牌工业相机和长期部署设备来说，这种统一性往往比单个数据集再高一点分更重要。

当然，共享并不等于完全免适配。新设备仍可能带来训练范围之外的光谱响应、噪声和饱和特性。但至少在论文覆盖的 10 到 24 位 RAW 基准与混合传感器协议中，网络展示了利用输入统计生成处理参数的可行性。这为后续增量接入设备提供了一条比“整网推倒重训”更清晰的路线。

第二，中间参数比黑盒特征更容易诊断

全局曲线可以画出来，局部网格可以可视化，分位数描述也能直接检查。当检测结果突然恶化时，工程师至少可以追问：输入直方图是否异常？曲线是否把高光压平？局部矩阵是否产生过强的通道混合？这比只看到骨干网络某层特征失效，更容易形成可操作的排查路径。

第三，适配模块放在入口，能够服务更多下游任务

论文主要研究目标检测，同时在附录中把思路延伸到语义分割。这个方向值得继续观察，因为相机差异首先发生在输入端。只要入口处理能稳定输出更适合机器理解的表示，同一套思想就有机会服务检测、分割、跟踪甚至机器人感知。这里说的是方法结构上的潜力，不代表论文已经完成所有任务的大规模验证。

09｜代码已经公开，但复现并不是“下载后点一下运行”

RAWild 官方仓库已经给出目标检测、语义分割和 RAW 模拟代码，并列出了不同数据集与骨干网络的配置。仓库也给出了经验证的软件版本组合、预训练权重准备方式和训练评测命令。对于想跟进这项工作的团队，这比只有论文没有实现要友好得多。

但龙哥也要提醒一句：这不是一个拿普通照片就能立刻体验的轻量工具。完整复现涉及多个 RAW 数据集、检测与分割框架、预训练权重和相应显卡环境。数据准备尤其关键，因为 RAW 文件的黑电平、位深、排列方式和标注对齐都可能影响结果。仓库提供了路径，并不意味着不同设备的数据可以不经检查直接混用。

更务实的尝试顺序是：先使用作者给出的配置和权重复现单一数据集结果；再检查曲线与网格可视化；最后才把自己的相机数据接入。这样可以把“代码环境问题”“数据格式问题”和“跨传感器泛化问题”分开，不至于所有误差一起涌上来。

官方论文：
https://arxiv.org/abs/2605.05941

官方代码：
https://github.com/I2WM/RAWild

项目页面：
https://i2wm.github.io/RAWild/

10｜哪些结论还不能直接外推？

第一，论文证明的是所选 RAW 基准和协议内的优势，不是所有相机都已经被统一。真实产品中的镜头、传感器噪声、压缩、温漂、运动模糊和厂商私有处理可能继续制造新的分布差异。越是远离训练覆盖范围，越需要重新验证。

第二，混合传感器数据 为了建立可比较协议，选择了四种传感器共同覆盖的五类目标，并进行了类别平衡。这使比较更公平，但也意味着结果不能直接代表开放世界中的长尾类别。更大规模、更多设备、更多目标类别的联合评测，仍然是下一步的关键。

第三，输入适配提高了检测精度，却也增加了参数预测、曲线映射和网格查询。论文把它定位为轻量适配器，但真正部署到边缘芯片、车载平台或高帧率工业检测时，还要重新测量延迟、显存、功耗与算子兼容性。学术精度领先，不自动等于每个平台都值得增加这一处理链。

第四，可解释参数也不等于因果保证。曲线和网格让人更容易观察系统做了什么，但某条曲线为什么对某类目标有利，仍可能与训练数据中的相关性有关。遇到极端照明或新型传感器时，参数看起来平滑，也不代表检测一定可靠。

11｜龙哥点评：相机不是透明的，算法终于开始承认这一点

很多视觉系统默认相机只是一个“把世界变成图片”的透明管道。模型工程师拿到图像后，往往直接讨论骨干网络、注意力和损失函数，却很少追问：这些像素究竟被哪块传感器、哪种曝光和哪条处理链塑造出来？

RAWild 最打动龙哥的地方，不是又把检测分数抬高了几个点，而是它把成像过程重新拉回模型设计。它承认不同相机看到的并不是同一个数值世界，然后让网络根据当前世界选择处理方式。这是一个很朴素、也很工程化的判断。

如果把这条路线继续往前推，未来的视觉模型可能不会再把输入预处理视为固定配方。相机参数、环境统计、任务目标和计算预算，都可能共同决定入口怎样变换。模型不是被动接收一张图片，而是在理解任务之前，先学会怎样“看”。

这背后还有一层产品思维。过去的软件系统常把硬件差异藏在驱动和固定标定里，上层算法默认输入已经被整理好。可一旦设备数量增多、光照快速变化，固定标定就会成为脆弱环节。RAWild把一部分适配交给数据驱动模型，又用曲线和网格限制它的自由度，实际上是在“固定规则”和“完全黑盒”之间找折中。龙哥认为，这类有结构的自适应模块，可能比单纯堆大网络更适合长期维护的视觉产品。

再往更远处看，这种思路也可能影响数据采集。团队不必只追求把所有相机处理成完全一致的标准照片，而可以有意识地保留设备差异，并让模型学习哪些差异需要校正、哪些原始信息值得保留。这样，硬件选择、数据协议和模型结构就不再是三个互不相干的环节，而会共同围绕最终任务设计。

对做图像恢复、低照增强和机器人视觉的团队，这篇论文也有一个直接启发：不要只追求肉眼更好看。真正的下游任务可能需要另一种处理结果。恢复、增强与感知之间应该形成闭环，而不是前一个模块独立追求自己的视觉指标。

对于学生和刚进入视觉方向的工程师，这篇工作还有一个学习价值：它把传感器物理、图像处理和目标检测放在同一条链上。读懂它，不只是学会一套网络结构，更是在练习如何从真实设备的问题出发，选择有限、可解释的模型自由度，再用下游任务验证设计是否成立。这样的研究路径，比先找一个流行模块再硬套场景更值得借鉴。

12｜龙迷三问

第一，如果你的产品明年换了一款相机，现有模型要付出多大代价？是重新标注、重新训练整套系统，还是只需补充少量设备数据并更新入口适配？这个问题决定了模型能否跟随硬件迭代。

第二，你需要的到底是“更好看的图”，还是“更容易完成任务的信号”？人眼评价、检测精度、分割稳定性和控制可靠性并不总是一致。先确定最终任务，才能决定输入处理应该优化什么。

第三，模型出错时，你能看见它怎样处理输入吗？如果入口完全是黑盒，跨设备故障会很难定位。像曲线、网格和输入统计这样的中间表示，未必解决所有问题，却能让工程团队多一层可以观察和约束的抓手。

龙哥最后用一句话总结：RAWild不是让所有相机变得相同，而是让同一个模型学会尊重它们的不同。当视觉系统真正走出实验室，这种能力可能比在单一数据集上继续挤出零点几分更有价值。

本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。