日内瓦大学天文多模态：不重训主干，让星系图像与光谱互相借力

一、同一个星系，为什么需要两种“眼睛”？

把一张星系照片递给你，你可能会先看见旋臂、中心亮斑，或者一条斜着穿过画面的暗带。这些外形线索能帮助判断星系类型。但如果问题变成“这束光的特征是什么”，仅凭外观就不够了。天文学家还会把光按波长展开，得到一条有起伏、有峰谷的光谱。照片与光谱观察的是同一个对象，却保留了不同层面的信息。

麻烦在于，两个模型各自学出来的内部表示没有天然统一的坐标。图像模型把对象变成一组数字，光谱模型也这样做；即使两组数字长度相同，也不能直接认定相同位置表达同一种含义。就像两本词典都按照自己的规则编号，第一千个词未必对应同一个概念。把数字拼起来，只解决了“放在一起”，没有解决“彼此对得上”。

常见做法是收集多种观测，从头训练一个统一系统。这条路很有价值，不过它要求数据、模型和训练流程一起配合。现实中的科研模型往往由不同团队、不同时间开发，已经投入不少资源。新仪器和新观测方式还会继续出现。如果每接入一种资料都要推倒重来，现成模型的积累就很难充分复用。

这篇论文换了一个问题：保留已有模型的大部分能力，只训练它们之间的接口，能不能让两种观测互相帮忙？它把这种方案称为DINOspec。这里的“接起来”不是让模型开口聊天，而是让同一天体的图像表示和光谱表示，在一个共同的数字空间里更接近。

二、看懂原图：大模型锁住，小模块学习翻译

原论文图1，来源：DINOspec，第3页。上路输入光谱，下路输入图像；右侧共同的训练目标负责对齐两路表示。

先从图的左边往右看。上方是一条光谱，经过天文基础模型（AION-1）的光谱处理部件，再经过新增的注意力模块；下方是一张星系图像，经过视觉模型（DINOv3），再经过新增的视觉模块。两条路线最后各输出一组数字。右边的括号把它们连到同一个对比学习目标，告诉模型哪些图像与光谱应该配成一对。

图里的小锁尤其重要。左侧的预训练部件不是本次从头学习的对象，而是尽量保持原有参数。真正承担适配工作的，是后面那些规模较小的新增模块。这样做相当于保留两个熟练的专家，给它们分别安排一位翻译，而不是要求专家把自己原来的知识全部重学一遍。

其中一个容易看错的地方，是把上路理解为“整套AION-1直接接进来了”。论文实际使用的是它预训练好的光谱分词部件，也就是把连续光谱变成模型能够处理的内部单元的部分。这个区别决定了我们应该怎样理解复用范围，也决定了参数量和计算流程。不能因为图中写着模型名称，就把原模型的全部功能一并算进来。

下路采用的是现成的通用视觉主干。它原本擅长从图像里提取结构线索，并不是为这批星系照片从零训练的。研究者在其后追加视觉模块，让这些特征能够适应天文任务，也更容易与光谱表示对应。这个设计保留了通用模型已经形成的识别能力，把新增训练集中在跨领域、跨观测方式的接口上。

为什么不只加一个最终分类器？因为“判断这张图是哪类星系”和“让照片与光谱在内部表示上对应”是不同的任务。最终分类器只需要把输入分到若干类别；对齐模块则要保留能跨观测对应的线索。论文后面还会分别给图像和光谱分支接小型预测头，检查这种表示变化是否真的帮助了具体任务。

这里的一个实用点是：训练时可以借助成对资料，使用时却不一定要把两种资料同时交给模型。论文的下游评估分别使用各分支，不是每次都把图像和光谱合并输入。因此，图像分类获得进步，可以理解为训练阶段从光谱关系中学到了更有用的表征，而不是测试时额外偷看了一份答案。

三、先把数据配对：不能让两种观测认错对象

要教模型判断“同一个天体”，第一步是确认两份观测真的属于它。研究使用来自昴望远镜超宽视场相机的图像，与暗能量光谱巡天的光谱进行天区匹配，匹配半径为1角秒，最终得到20,472组图像—光谱配对。角秒是很小的角度单位，这里用来衡量天空目录中两个位置相隔多远。20,472指联合训练的成对样本，不是所有预训练数据的总量。

图像本身也经过了处理。原始资料包含五个观测波段，输入通用视觉模型时选取其中三个波段，经过一种用于天文可视化的强度映射，组合成三通道图像。每张图为160×160像素，像素尺度为0.162角秒。这一步让天文观测进入现成视觉模型熟悉的输入形式，也意味着部分精确测光信息没有原样保留下来。

这种选择有取舍：若目标是识别整体形态，把星系轮廓、亮度分布和结构呈现在图像里很有帮助；若目标依赖不同波段之间非常精确的通量比例，面向显示效果的映射就不一定合适。我们先记住这点。它会在后面的红移实验中再次出现，也能解释为什么“多加一种观测”不等于每项任务都必然进步。

适配模块还可以先做单模态预训练。论文使用86,614张图像，以及来自斯隆数字巡天和暗能量光谱巡天的209,630条光谱，分别帮助新增模块熟悉各自数据。光谱资料按文中设置分成107,223与102,407条。它们与那20,472对联合训练资料承担的角色不同，不能混成一个训练规模数字。

四、核心训练：先学各自的语言，再练习互相认人

视觉适配模块有一种可选的预训练方式：让同一图像的不同视图，得到相容的内部判断。论文附录的第一个目标，可以理解为学生网络去接近教师网络给出的概率分布。教师不是由人工逐张标注答案，而是由学生参数的平滑历史形成。这样得到的学习信号，能够先让新增视觉模块适应图像结构。

对应公式把教师概率乘上学生概率的对数，再求和取负，惩罚两者分布不一致。学生如果把教师认为重要的部分压得很低，损失就会变大。它学习的是表示上的一致性，不是直接预测星系类别。

光谱适配模块则做“遮住一段，再补回来”的练习。附录第二个目标把若干光谱内部单元遮掉，要求模型根据剩余上下文预测被遮的位置。公式中的遮挡集合告诉模型哪些位置需要计分，条件概率表示看见其余部分后，对缺失内容的判断。训练过程希望正确内容获得更大的概率，因此负对数损失会下降。

这两种预训练的作用都是给新增接口打基础。它们不是跨模态对齐本身，更不能保证对齐一定有效。一个模块可以很擅长补全光谱，却仍然不知道哪张照片对应这条曲线；视觉模块也可以学会稳定表示，却不一定保留光谱分类所需的线索。真正把两路拉到一起的，是接下来的配对训练。

原论文公式3，来源：DINOspec，第11页。两个对数项分别处理图像找光谱、光谱找图像，最后对一批配对样本取平均。

我们按论文对这个目标的说明，把计算过程拆开。设一批中有若干对观测，用字母N表示对数。第i张图像的表示记作vᵢ，第j条光谱的表示记作sⱼ。两组表示先做长度归一化，再计算内积。你可以把它想成比较两根指针的方向：方向越接近，表示越相似，而不是单纯看数值有多大。

这个相似度还乘上一个可学习的正缩放系数，论文写成exp(γ)。其中γ是模型学习的数，指数形式保证缩放为正。它调整不同配对分数之间的区分强度：缩放较大时，系统更突出最高分与其他候选之间的差别。它没有提供新的观测信息，而是在调整匹配判断的软硬程度。

接着看第一项。固定第i张图像，把它与本批所有光谱比较。分子是正确配对的分数经过指数变换后的值，分母把所有候选的同类值加起来。这个比值就像“从这些候选里选中真正对应光谱”的概率。正确配对占比越大，取对数再加负号后的惩罚越小。

第二项把方向倒过来：固定一条光谱，让它从图像中找回自己的搭档。为什么两边都练？如果只要求图像能找光谱，学习压力可能偏向某一侧的检索需求；双向目标则让两种表示都受到配对约束。最前面的平均系数，把两个方向、所有样本的损失汇总到一个量级相对稳定的训练目标。

正确配对在相似度矩阵里位于对角线上，其余位置是本批中其他天体组成的负配对。一个简单例子是：有甲、乙、丙三颗星系，甲的照片应该更接近甲的光谱，而不是乙或丙的光谱。模型并没有看到一句人工总结的“甲是什么类型”，而是从谁与谁对应的关系里，寻找两种观测共同保留的线索。

联合训练进行150轮，初始学习率为0.000005，前10%逐步热身，之后按余弦方式衰减。两个进程、每个进程16对样本、四次梯度累积，构成128对的有效训练批量。有效批量描述参数更新的样本积累，实际匹配时的负样本范围还取决于具体实现。

五、谁先带谁，居然会改变收益方向

原论文表2，来源：DINOspec，第3页。编号0至6比较初始化和训练顺序；表中“先冻结”描述的是分支训练安排，底层预训练部件始终保持冻结。

如果两位专家说的语言不一样，先让谁保持稳定、由谁主动适应，可能影响最终学到的共同表达。论文设置七组策略，变化包括视觉模块是否先预训练、光谱模块如何初始化，以及前50轮是否先固定其中一条分支。表里的编号只是实验配置，不是从差到好的等级。

配置1的思路，是先让光谱分支保持稳定，用已有的光谱表示来引导视觉侧。经过前50轮，再让可训练部分共同优化。配置2反过来，以视觉侧作为初期较稳定的参照，让光谱侧先适应。这两个方案给我们一个很直接的对照：同样是双向对齐，先建立哪边的坐标，可能影响另一个任务获益多少。

此外还有同时训练、不同初始化等设置。若对齐收益仅仅来自“参数增加了”，那么只要追加模块，差异理应不会太大。但实验显示，训练安排会改变结果，单独增加视觉适配能力也没有自然带来形态提升。这更支持一种解释：接口怎样吸收另一种观测的线索，比接口单纯有多大更重要。

六、原表里的进步，到底发生在哪一项？

原论文表3，来源：DINOspec，第4页。左侧标明配置和模块，右侧三列依次为图像分类、光谱分类和光谱红移回归。星号表示前50轮固定分支，帽号表示随机初始化。

先别急着找最大的加粗数字。表里其实放了三项不同任务：从图像判断星系形态，从光谱区分恒星、星系和类星体，以及根据光谱估计红移。它们需要的信息不同，使用的标签和测试集也不同。把三列当成同一项“综合准确率”，会把这篇论文最有意思的结论抹掉。

前两列采用的是分类综合分数（F1），它综合考虑找得准不准、该找的对象有没有漏掉。它不是“每100个样本答对多少个”的准确率。最后一列采用决定系数（R²），衡量回归预测相对简单均值参照能够解释多少变化。两者都要在各自任务内阅读，不能拿0.79与0.91直接判断哪个模型更强。

先看形态分类。单独使用视觉主干加小型预测头，分数为0.722。配置1采用两个光谱模块、不额外微调视觉主干时，达到0.779。差值为0.057，是这个综合分数本身的增加，而不是准确率增加5.7个百分点。它说明在这套评估里，配对训练后的图像表示更适合区分星系形态。

这组结果对应表中第二行：图像分数0.779，光谱分类0.704，红移决定系数0.882。把整行一起读，可以看出它主要改善了图像任务，并没有同时把其他两项推到最高。若只摘出形态分数，再把其他行的最好数字接上，就会把几套训练方案包装成一个不存在的万能配置。

表格第一行进一步引入低秩适配（LoRA），也就是在视觉主干里增加少量可训练参数，图像分数来到0.796。论文说这额外更新约60万参数。这里应当和同样采用低秩适配的视觉基线0.757对照；差值为0.039。它支持“配对信息还有帮助”，但不应与完全冻结主干的设置混为一谈。

再看光谱分类。原天文模型加预测头的基线为0.697，而配置2达到0.736。这个配置在早期由视觉侧保持稳定，引导光谱侧适应；其图像分类分数是0.732。于是出现了一个很清楚的交叉：更有利于形态分类的引导方向，与更有利于光谱分类的引导方向不同。

因此，摘要里“形态约0.72到0.78、光谱约0.70到0.74”，是对两类收益的概括，不是同一个配置同时拿到两项最优。如果你的工作只关心照片分类，优先考察前一种训练安排更合理；如果主要关心光谱类别，就应该认真看后一种，而不是把一个总分最高的模型直接套到所有任务。

数字后面的正负项来自多次评估。论文下游实验使用七个不同随机种子，分别训练两层预测头并报告波动。这比只报一次最好结果更有参考意义。不过，重复种子能够反映训练波动，不能自动消除数据规模和分布带来的限制。要理解一项提升有多稳，还得看测试对象有多少、类别如何分布。

七、红移没有提升，反而让方法更值得理解

红移可以粗略理解为光谱特征沿波长方向发生的移动。它与天体的运动、宇宙学距离等问题有关，是与“外形像哪类星系”不同的测量任务。论文中，原天文模型的相关基线决定系数为0.910；一些对齐配置大致相近，也有下降。研究没有证明加入这套图像表示就能改善光谱红移预测。

这不是给其他两项进步泼冷水，而是在说明互补信息有条件。光谱自身已经包含预测红移需要的重要信号，加入图像后，新增线索未必足够多。与此同时，输入视觉模型的是经过显示映射的三通道图，而不是保留全部精确测光关系的原始多波段数据。对某些物理量重要的信息，在前处理时就可能被压缩了。

一个真正可检验的后续问题，是如果保留精确的多波段测光信息，或者改用适合测量而非展示的输入，情况会不会改变。这是从实验引出的研究方向，不是本文已经验证的结果。它提醒我们，在继续叠加模型之前，先检查输入到底保留了什么，有时比增加层数更重要。

八、轻量在哪里：训练接口，保留基础模型

原论文表1，来源：DINOspec，第3页。上方为两种基础模型的参数规模，下方列出新增视觉模块、光谱模块、嵌入层和预测头的规模。

表1把几个容易混淆的量列开了。视觉基础模型约3亿参数，作为比较的天文基础模型基础版本也约3亿参数。单个新增视觉模块约700万参数，两个约1400万；两个光谱模块约690万；嵌入层约118万；两层预测头约33万。看这些数时，应当分清完整模型规模与实际参与更新的规模。

摘要说最多训练约2100万参数，适合用来理解代表性的轻量配置：主要保留已有特征提取能力，把学习集中在相对较小的接口上。但实验同时探索了更深的光谱模块，表里八层约2780万、十六层约5560万。不能因此把文章所有实验都概括成“可训练参数不超过2100万”。

更深的模块也没有持续带来更好的结果。这一点比某个参数百分比更有实际价值：当两个原有表示已经足够丰富时，增加接口容量未必是首要瓶颈。该先检查训练顺序、输入信息还是任务目标，需要用对照实验回答。否则，所谓“轻量融合”很容易重新变成不断堆叠模块。

冻结参数也不等于基础模型不参与计算。图像仍然需要经过视觉主干，已有部件仍然占存储和推理资源。这里降低的是参数更新的负担，部署还得单独测量推理时间与存储需求。

对小团队而言，这条路线最吸引人的地方，不是承诺“什么设备都能跑”，而是避免重复承担完整基础模型的训练任务。已有模型能够复用，成对资料的规模又有限时，先验证接口能否带来任务收益，通常比立即筹划一个全新的大模型更容易形成清楚的实验问题。

九、放回研究脉络：它和另外两条路线有何不同？

理解这篇工作，可以把它放在两项天文多模态研究旁边：AstroCLIP与AION-1。这里比较的是建模路线，不把它们各自在不同资料上报告的分数拼成排行榜。三者都希望利用不同观测之间的关联，但它们对“哪些部件应该一起训练”的回答并不一样。

AstroCLIP在2023年10月4日首次提交预印本，先分别对星系图像和光谱编码器进行自监督预训练，再使用对比损失对齐。其官方摘要讨论了跨模态相似性搜索、测光红移、物理属性估计和形态分类。它说明，把两种观测放进共同表示空间，可以支持不止一种下游用途。

DINOspec与它共享“成对观测、对比对齐”这一重要思路，区别在于更强调把独立发展的现有基础模型组合起来。图像侧不是专为该配对任务从头构建的天文编码器，而是复用通用视觉主干；光谱侧也借用已有部件，再让适配模块学习接口。这种变化把研究重点从完整训练流程，移到了现有表示之间的连接能力。

AION-1则代表更统一的科学基础模型路线。其预印本在2025年10月20日首次提交；按北京时间换算是次日凌晨。官方摘要描述先进行各模态分词，再对跨模态序列做遮挡建模，覆盖图像、光谱和标量观测，预训练来自五个大规模巡天，涉及超过两亿次观测。

它关注的是怎样把异质科学数据纳入统一框架。DINOspec没有重新完成这样的多巡天预训练，而是从已有能力中取出可用部分，研究接口对齐是否足够。二者不是简单的新旧替代关系：统一模型适合系统性建立共享表示，轻量接口则更适合已有模型众多、希望逐步接入新能力的场景。

这三条路线合起来，给研究者的启发不是谁把谁淘汰了，而是先明确你要解决哪一层问题。缺少可用表示，可以研究预训练；观测之间需要统一建模，可以研究跨模态序列；已有专家模型却难以协作，可以研究轻量接口。问题不同，值得投入训练的部件就不同。

十、这些结果应该怎样使用？

先说数据规模。形态分类虽然来自十类星系任务，但匹配到可用图像后总共只有692张，其中553张训练、139张测试，最稀少的类别总共仅8个样本。这不否定表中的进步，却意味着我们应把它理解为在给定小规模评估上的实验证据，而不是大规模真实巡天部署已经得到充分验证。

光谱分类和红移预测的评估规模不同：前者训练与测试分别为182,000和39,000条，后者分别为14,000和3,000条。数字摆在一起，能看出三项任务的证据密度并不相同。形态任务尤其需要更大的独立测试集，以及更细的分类别结果，来判断少数类别是否也同样受益。

再看配置选择。主文表3只展示超过视觉形态基线的配置，完整结果另列于附录。主表经过筛选，判断方法对初始化与训练安排有多敏感，还得一起看附录中的失败配置。另外，本研究的天文模型基线只使用特定输入与较小的匹配子集，比较范围与原模型论文不同。

论文主要用下游分类和回归检验表示是否有用，没有把直接跨模态检索或配对准确率作为主要验证。因此，“对齐”是训练机制与表示组织的描述，当前最直接的收益证据仍然来自这三项任务。若你的应用是根据一张照片检索光谱，还需要专门设计检索指标，而不是把分类分数当作检索质量保证。

跨仪器、跨巡天能否稳定迁移，也值得继续验证。观测噪声、波段、分辨率和选择效应都会影响数据分布。接口在这一组配对资料上学习有效，不代表换一个仪器后可以完全不调整。若要接入自己的项目，应该把目标来源的数据作为单独的外部测试，而不是只复用原论文的训练和测试拆分。

最后，若你不是天文研究者，也可以借用这个实验框架，而不是直接借用它的结论。先为两个模态各建单独基线，再比较同步训练与单侧引导，接着检验只加模块、不加配对监督的效果。这样的对照能帮助你区分“更多参数”与“真正的信息互补”，也能及时发现某项任务根本没有新增可用线索。

龙哥点评：先问缺了什么，再决定训练多大

我更看重这篇论文里那项没有上涨的红移结果。因为它迫使我们离开“多模态就是更强”的口号，回到一个具体问题：第二种观测，究竟补上了第一种观测缺少的什么？如果答案说不清，再多的连接模块也可能只是在重新包装已有信息。

形态分类的提升，则给“先把现有模型接好”提供了一个扎实的小切口。它没有要求通用视觉模型先彻底变成天文专用模型，而是利用成对光谱关系，调整图像表示的使用方式。对于已经拥有预训练模型、但成对标注和训练预算有限的团队，这是一条值得认真试验的思路。

不过，我不会据此建议所有团队都放弃统一基础模型。统一预训练与轻量对齐解决的是不同约束下的问题。前者更像修一套共同的语言系统，后者更像给已有专家建立有效接口。你拥有的数据、需要接入的观测种类、部署资源与任务范围，才应该决定选哪条路。

如果让我挑一个最值得延续的研究方向，我会选“任务决定引导方向”：不是给所有任务同一套融合流程，而是先判断谁掌握了更关键的线索，再检验由谁带动谁。本文已经显示，两种分类任务的最佳安排可以不同。下一步若能在更大、更独立的数据上重复这个现象，接口设计就会更有依据。

一句话收尾：这项工作的价值，不是证明两个大模型相连就会产生万能能力，而是把“能否复用、谁帮助谁、在哪些任务有效”拆成了可以逐项检验的问题。做科学模型，接通线路只是开始；弄清信息究竟从哪里来、流向哪里，才是真正值得投入的部分。

参考资料

本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。