跨域分类不用纠结：MLLM当调度员，让每张图找到最懂它的专家

做AI的都知道，图像分类这活儿，看着简单，做起来全是坑。尤其是当你把模型从实验室搬到现实世界，面对的不是单一数据集的“温室环境”，而是医疗影像、卫星图、人脸表情、日常物体照片混在一起的“修罗场”。

龙哥读论文发布于 2026-08-16 11:00:57 阅读 6 查看原文

#大视觉语言模型 #多模态 #Agent #模型架构

原论文信息如下：

论文标题:
MLLM-Routed Heterogeneous Ensembles for Robust Cross-Dataset Image Classification 发表日期:
2026年08月发表单位:
University of Tennessee, Knoxville 原文链接:
https://arxiv.org/pdf/2608.13463v1.pdf

一个在胸片数据集上刷到99%准确率的模型，扔到自然图像上可能直接“翻车”。专才和通才的鸿沟，一直卡着通用视觉系统的脖子。

传统做法是堆集成：把多个模型都跑一遍，再投票。效果是有了，算力却爆炸，而且整个决策过程就是个黑盒，模型为什么选这个结果，没人说得清。

田纳西大学团队最近放了个大招：让多模态大语言模型（MLLM）当“调度员”，用自然语言推理来决定每张图该交给哪个专家模型处理，跨域图像分类准确率达到90.78%，超过最强单模型1.17%，还自带可解释性！

让大模型当“调度员”：ARMDIL如何打破跨域图像分类瓶颈

这篇论文提出的方法叫ARMDIL（Adaptive Router for Multi-Domain Image classification with LLMs），翻译过来就是“基于大语言模型的自适应多域图像分类路由器”。名字有点绕，但思想很直白：与其训练一个“全知全能”的超级模型，不如训练一批各有所长的“专才”，再让一个大模型来做“HR”，把每张图分配到最合适的那个专家手上。

整体流程如图1所示。每个输入图片先进行尺寸调整和归一化预处理，同时计算一组图像质量指标（模糊度、亮度、对比度和噪声）。原始图像与质量统计数据一起送入MLLM路由器（Gemma-4-12B），路由器基于视觉内容和质量信号进行推理，将图像分配到五个域别名（GENERAL、FACIAL、GEOGRAPHIC、MEDICAL或UNSURE）之一，然后路由到对应的领域专家。专家骨干（ResNet、DINO和CLIP）通过域偏斜采样离线训练。被分配到UNSURE的图像被重定向到整体验证准确率最高的模型。所有专家共享统一的N=38类分类头，无论路由结果如何，都能输出有效预测。

图1：ARMDIL跨域图像分类流水线总览

论文选择了四个差异极大的数据集来构建统一的评测基准：CIFAR10（日常物体）、FER2013（人脸表情）、EuroSAT（卫星遥感）和OrganAMNIST（医学器官扫描，论文简写为O-MNIST）。这四类图像的视觉特征几乎不重叠，正好用来检验路由器的“眼力”。

为什么选这四个？论文考虑得很细：CIFAR10代表标准物体中心域，传统卷积网络在这类任务上表现稳定；FER2013是人脸情绪识别，类别高度细微，需要模型捕捉微妙的肌肉变化和纹理差异；EuroSAT是卫星影像，考验模型对航拍视角和场景语义的理解；OrganAMNIST是医学扫描图，低亮度、高对比度、纹理结构专业性强。而且这四个数据集大小接近（约2.7万到6万张）、分辨率一致（32×32或类似）、类别数接近（7到11类），排除了一些容易干扰比较的因素。

把四个数据集的标签映射到一个统一的38类空间后，训练数据就绪。这个统一标签空间的设计很巧妙——就算MLLM路由错了，把一张医学图送到了日常物体专家手上，专家也能在38类里硬挑一个输出，至少不会崩溃报错。

异构专家军团：ResNet、DINO、CLIP各显神通

ARMDIL的核心资产是三类完全不同的视觉骨干网络（Backbone）：传统卷积网络（CNN）ResNet-50、自监督学习模型（SSL）DINOv2和DINOv3、视觉语言模型（VLM）CLIP。

如果读者朋友对这几个名词比较陌生，这里简单解释一下。ResNet是残差网络的简称，通过“跳跃连接”解决了深层网络难以训练的问题，是卷积网络的经典代表。SSL（自监督学习）不需要人工标注，直接从图像本身学习特征表示，DINO就是其中的代表模型。VLM（视觉语言模型）则是把图像和文字映射到同一个语义空间，CLIP是最著名的例子，它的训练数据是海量的图文对。

每类架构都有自己的“性格”。ResNet擅长抠细节，对纹理、边缘、形状这类局部特征特别敏感，在医学图像上往往表现出色；但它对训练分布特别“死忠”，一换场景就容易水土不服。DINO系列通过自蒸馏学到了非常鲁棒的通用特征，在复杂域上表现稳定，但推理时需要更大的计算量。CLIP因为见过海量的图文配对，对场景级别的语义理解很强，卫星图这种看整体、看关系而不是看局部的任务反而更适合它。

但要注意，这些骨干网络不是简单地拿预训练权重直接用，而是要在统一数据集上做微调（Fine-tuning）。为了让每个网络都变成“偏科专家”，论文设计了一套巧妙的采样策略：训练某一领域的专家时，让该领域的数据以70%的高比例出现在每个batch里，其他三个领域各占10%。这样训练出来的模型，会极度偏向自己的主攻领域，但在统一标签空间中仍保留一定的通用输出能力。

表1：每种训练场景的数据分布

表1展示了具体的配置：前四行是分别偏向四个数据集的域偏斜采样，最后一行是均匀分布的平衡基线。这样一来，每个骨干网络就有了5个变体：4个偏斜专家加1个平衡版本。

训练过程中，论文采用了一个非常有意思的学习率调度策略：学习率先线性上升到最大值，然后按余弦曲线衰减到最小值。这个warmup加cosine decay的组合，在很多视觉模型训练中已经被验证为非常有效的配置。为了让读者对训练配置有更直观的了解，论文在附录中给出了详细的超参数表（表8），包括批次大小、优化器选择、权重衰减等。

表8：ResNet和DINO骨干实验使用的训练配置

零样本路由魔法：MLLM如何精准分配图像

骨干网络训练好之后，重头戏来了：怎么决定一张图该交给谁？

传统方案有两种。一种是“死脑筋”的多数投票（Majority Vote）：所有专家都跑一遍，最后票多者胜。这种方案算力浪费严重，而且三个臭皮匠不一定顶个诸葛亮——专家们可能在错误答案上达成共识。另一种是训练一个神经网络路由器（NN-Router）来做域分类，但这是纯黑盒，不透明，而且一旦要新增领域，路由器必须重新训练。

ARMDIL的脑洞在于：干脆让Gemma-4-12B来当这个路由器。Gemma是Google开源的大语言模型系列，12B代表120亿参数。论文用的是Unsloth量化版UD-Q5，一个能跑在本地消费级显卡上的“小模型”，不需要调用云端API，保证了可复现性和数据隐私。

路由器的工作方式相当优雅。系统提示词（System Prompt）中定义了五个“域别名”：GENERAL（通用物体）、FACIAL（人脸表情）、GEOGRAPHIC（地理遥感）、MEDICAL（医学扫描）和UNSURE（不确定）。也就是说，MLLM不直接说“这是CIFAR10”，而是判断这张图属于哪一类视觉场景。这种抽象化的处理让路由器不依赖具体数据集名称，新数据集来了也能应对。

图2：ARMDIL域路由器的MLLM提示词

提示词还要求MLLM在给出最终答案前，先进行链式思维（Chain-of-Thought，CoT）推理，也就是把思考过程逐步写出来。比如“这张图是灰度级横截面视图，看起来是CT或MRI扫描，符合MEDICAL的定义”，然后再输出域别名。CoT不仅提升了路由准确率，还意外地给了开发者一个“看穿AI内心”的窗口。

除了图像本身，ARMDIL还会计算一组图像质量指标拼进提示词里：模糊度、亮度、对比度和噪声估计。为什么需要这些信息？因为不同领域的图像在低层视觉特征上有明显的“气质差异”——医学扫描图像往往整体偏暗、对比度高但模糊度也高；卫星影像纹理噪声特征明显；自然照片亮度分布更均匀。MLLM结合这些数值线索，路由判断会更可靠。

图3：OrganAMNIST样本的图像质量评估示例

特别值得点赞的是“UNSURE”这个设计。现实世界总有模型搞不定的边缘情况，硬要选一个域不如诚实地说“我不确定”。这种情况下图像会被交给整体验证准确率最高的那个专家（论文中选的是平衡训练的DINOv3），既给了容错空间，又不会让推理流程卡死。

为了选出每个域的“王牌”，论文将所有专家模型在统一测试集上的表现做了统计（表2）。

表2：所有异构骨干架构在跨分布数据上的逐数据集性能。训练分布对应训练期间使用的域偏斜采样（表1）。测试集对应每个训练模型被评估的数据集，其中“Overall”报告统一测试数据集上的全局指标。数值表示top-1准确率（左）和F1分数（右）的百分比。粗体条目表示每个骨干内最优的跨分布配置设置。

表2：所有异构骨干架构的逐数据集跨分布性能

表中能读出不少有意思的细节。ResNet-50在OrganAMNIST上表现拔尖，达到97.20%，但在FER2013上只有66.40%，差距超过30个百分点，典型的“偏科生”。DINOv3在FER2013上拿到70.49%，是全场最高，而且整体一致性最好——训练分布怎么变，它的表现都不怎么掉，说明自监督预训练学到的特征确实更稳健。CLIP在EuroSAT上意外地碾压全场，达到98.56%，论文分析这是因为卫星图像更依赖场景级语义理解，CLIP海量图文预训练积累的全局语义知识正好派上用场。

最终选出的专家阵容如表3所示：CIFAR10由平衡训练的DINOv2出战（99.24%）；EuroSAT由CIFAR10偏斜训练的CLIP出战（98.56%）；FER2013由FER2013偏斜训练的DINOv3出战（70.49%）；OrganAMNIST由OrganAMNIST偏斜训练的ResNet-50出战（97.20%）。有意思的是，CLIP在EuroSAT上的最佳版本是CIFAR10偏斜的，说明在某些情况下，让模型见多识广一点反而更好。

表3：每个数据集上表现最佳的模型

有了专家阵容，接下来该看路由器的表现。表4展示了MLLM在四个数据集上的域分类混淆矩阵。

表4：各数据集的域分类分布

FER2013上路由准确率高达99.82%，几乎不会认错，说明人脸的特征太明显了。CIFAR10的路由准确率是97.80%，也相当不错。OrganAMNIST是95.21%，稍微有些困惑但整体可控。最纠结的是EuroSAT，只有78.20%的图片被正确识别，12.72%被送去了UNSURE。为什么会这样？卫星图要么是郁郁葱葱的森林，要么是密密麻麻的城市街区，低分辨率下看起来就是一片模糊的纹理，确实很难一眼看出“这是地球的哪个角度”。

但即使有EuroSAT这个薄弱环节，ARMDIL的最终性能依然能打。表5展示了完整结果。

表5：最佳单个骨干（DINOv3，无偏）、ARMDIL、两种集成基线以及理论oracle路由器的逐数据集性能。每个单元格报告准确率（上）和该测试集标签集上的逐数据集macro F1（下）。“Overall”报告统一数据集上的全局准确率和统一数据集域上各数据集macro F1值的平均值。

表5：ARMDIL与基线的逐数据集性能对比

ARMDIL总体准确率90.78%，比最强单模型DINOv3（平衡版）的89.61%高出1.17个百分点；比多数投票集成的90.47%高出0.31个百分点，macro F1更是高出1.28个百分点；与理论上限Oracle（假设路由完全正确）的91.04%只差不到0.3个百分点。训练式NN-Router虽然做到了91.18%，但ARMDIL是在完全零训练、只靠提示词的情况下拿到这个成绩的，这个性价比完全不同。

更值得一提的细节是，NN-Router（路由准确率99.5%）居然超过了Oracle。这就很反直觉了。论文给出的解释是：某些路由“错误”反而歪打正着——本该去A专家的图被送去了B专家，而B专家对该图恰好有更好的特征表示。这也侧面说明，在异构模型集成中，“最优专家”的边界其实很模糊。

图4：ARMDIL的MLLM的推理轨迹示例。这是随机选择的左肾OrganAMNIST图像。

图4：ARMDIL的MLLM推理轨迹示例

图4展示了路由器为一张肾脏医学图像生成的完整推理轨迹。MLLM逐条分析：图像是灰度横断面、看起来是CT或MRI扫描、存在肺部和软组织的解剖结构、符合MEDICAL定义；再看统计量：模糊度0.53、平均亮度0.38（偏暗）、对比度0.20（高对比）、噪声0.0011（低噪声）；最后总结“这张图明确是医学扫描，不是日常物体，不是卫星遥感，不是人脸”，输出MEDICAL。这个推理过程清清楚楚，出了问题能回溯到具体哪一步判断失误，开发者和监管者真正有了“抓手”。

不只是精度提升：可解释性与灵活适应性的双重突破

ARMDIL的野心不止于把准确率往上提几个点。它真正让人眼前一亮的是两个“隐性优势”：可解释性和灵活适应性。

可解释性前面已经提到过。传统深度学习模型是“成绩优异但说不出解题过程”的偏科生，ARMDIL则是“每一步都写在草稿纸上”的学霸。CoT推理让每个路由决策都带上了自然语言解释，这在医疗辅助诊断、自动驾驶等对可追溯性要求极高的场景里是硬通货——医生可以查看AI为什么把这张影像判定为肺部CT而不是腹部B超，工程师可以定位路由错误的具体原因并修正提示词。

灵活性适应性的优势更直观。想象一下这个场景：系统已经上线运行，突然需要新增一个“车辆”类别。对传统集成来说，这是一场灾难——需要重新收集数据、重新训练路由器、重新验证整个系统。对ARMDIL来说，只需要在提示词里加一段“VEHICLES：军用或民用车辆”，再挂载一个训练好的车辆分类器，完事。不用动任何其他模块的权重，新增知识通过提示词就能注入。

这种“提示词即更新”的范式，把系统的演进成本降了一个数量级。对于需要快速响应新需求的落地场景——比如电商平台突然要做违禁品识别、安防系统要接新的摄像头角度——这种灵活性意味着数天的工作量被压缩到数小时。

训练曲线也侧面验证了模型训练的扎实程度。论文附录给出了平衡DINOv3的训练和验证损失、准确率、macro F1随epoch的变化曲线。

图5：平衡DINOv3模型每个epoch的训练和验证损失

图6：平衡DINOv3模型每个epoch的训练和验证准确率

图7：平衡DINOv3模型每个epoch的训练和验证macro F1分数

损失曲线平滑下降，验证指标和训练指标之间的差距很小，说明训练过程没有出现严重的过拟合。

消融实验揭秘：哪些组件真正起作用？

ARMDIL的完整版包含三个关键要素：CoT推理、图像质量统计、以及最终的域输出。但这些东西真的都有用吗？还是只是“锦上添花”的摆设？论文用一组消融实验回答了这个问题。

在继续之前，先解释一下“自一致性”这个概念。自一致性（Self-Consistency）是提升大模型推理可靠性的常用技巧：同一个提示词让模型生成多个答案，然后投票选出最一致的。用在路由场景中，就是让MLLM对同一张图做多次推理，少数服从多数，减少随机性带来的误判。

表6展示了三种配置的路由域分类准确率。

表6：所评估的LLM路由消融配置的域分类准确率（%）。测试的集成包括原始ARMDIL模型、带自一致性但不带CoT推理的ARMDIL，以及带自一致性且不带CoT推理和图像质量统计的ARMDIL。

表6：LLM路由消融配置的域分类准确率

表7进一步展示了不同配置下完整集成的逐数据集分类性能。

表7：使用三种Gemma-12B LLM路由配置的集成的逐数据集性能。每个单元格报告分类准确率（左）和逐数据集macro F1（右）。Overall报告统一数据集上的全局准确率和统一数据集域上各数据集macro F1值的平均值。

表7：三种Gemma-12B LLM路由配置的集成逐数据集性能

从结果来看，CoT推理和图像质量统计对最终性能有积极贡献，但影响幅度并不算大。这说明ARMDIL的核心能力主要来自MLLM本身的视觉理解能力，提示词中的辅助信息更多是起到“稳定器”的作用——在边界情况下减少误判，而不是从根本上改变路由能力。

表6和表7里还藏着一个重要发现：带自一致性但不带CoT推理的配置，在路由准确率上实际上持平甚至略低于原始ARMDIL，但集成后的最终分类准确率却明显更高。这个看似矛盾的结果其实指向一个更微妙的机制：自一致性让MLLM在路由决策上更加保守和一致，虽然单独看路由准确率没提升，但减少了大偏差的偶发错误，最终让专家模型都能拿到“对口的活儿”。

除了主干实验，论文还做了模型规模验证。结果表明，当改用更大的ResNet-101骨干时，各领域的绝对准确率都有提升，但整体趋势与ResNet-50保持一致；用轻量级MobileCLIP-S1替换CLIP骨干后，性能有一定下降但依然具备竞争力。这进一步验证了ARMDIL框架对不同骨干网络的通用适配性。

表9：ResNet-101模型在不同训练分布下的逐数据集性能

表10：MobileCLIP-S1模型在不同训练分布下的逐数据集性能。每个单元格报告Top-1准确率和macro F1分数（%）。最后一列表示平衡训练分布下的性能。表11：消融研究的MLLM路由混淆矩阵。行对应真实域，列对应预测域。域缩写表示CIFAR10（GEN.）、FER2013（FAC.）、EuroSAT（GEO.）和O-MNIST（MED.）。

表10：MobileCLIP-S1模型在不同训练分布下的逐数据集性能；表11：消融研究的MLLM路由混淆矩阵

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：

这篇论文到底在解决什么问题？田纳西大学提出ARMDIL，用Gemma 4多模态大模型当零样本路由，动态调度ResNet、DINO、CLIP三类异构骨干，跨四个视觉域统一38类分类，整体准确率90.78%，超越最强单模型1.17%，还自带可解释推理。

这篇工作最值得看的点是什么？ARMDIL在统一测试集上达到90.78%准确率，优于最佳单模型1.17%，优于多数投票集成0.31%，与NN-Router差距仅0.40%，且无需路由训练

这篇工作的边界或风险在哪里？优点：1）无需路由训练即可实现与训练路由器相当的性能；2）通过自然语言推理提供可解释性；3）通过提示修改即可适应新域，灵活性高；4）集成异构架构充分利用各模型优势。缺点：1）MLLM路由在EuroSAT上准确率较低（78.20%）；2）依赖MLLM的推理能力，小模型可能受限；3）路由错误可能导致性能下降；4）计算开销较单模型更大。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★★☆

提出ARMDIL框架，利用多模态大语言模型（MLLM）作为智能路由器，根据输入图像的视觉内容和质量特征动态选择最优的异构视觉骨干网络（ResNet、DINO、CLIP）进行分类。

实验合理度：★★★★☆

Top-1准确率、宏F1分数

学术研究价值：★★★★☆

提出ARMDIL框架，利用多模态大语言模型（MLLM）作为智能路由器，根据输入图像的视觉内容和质量特征动态选择最优的异构视觉骨干网络（ResNet、DINO、CLIP）进行分类；更关键的是问题定义是否可复用到同类任务。

稳定性：★★★☆☆

现有材料未提供充分的极端条件、重复运行或扰动测试，稳定性暂按中性评价。

适应性以及泛化能力：★★★☆☆

现有材料未完整展示跨数据集、跨场景或分布外实验，泛化能力仍需进一步验证。

硬件需求及成本：★★★☆☆

未明确报告FLOPs；MLLM路由器使用Unsloth UD-Q5量化的Gemma-4-12B，可在16GB VRAM的本地GPU上运行

复现难度：★★★☆☆

现有材料未确认完整代码、配置、数据处理脚本和权重是否齐备，复现难度暂按中性评价。

产品化成熟度：★★★☆☆

论文验证以研究实验为主，真实部署中的时延、成本、维护和异常场景仍需补充验证。

可能的问题：1）MLLM路由在EuroSAT上准确率较低（78.20%）；2）依赖MLLM的推理能力，小模型可能受限；3）路由错误可能导致性能下降；4）计算开销较单模型更大。

主要参考文献

[1] Daniel Perkins, John Squires, Janou Milligan, Chandra Raskoti, Linda Ungerboeck. MLLM-Routed Heterogeneous Ensembles for Robust Cross-Dataset Image Classification. University of Tennessee, Knoxville. arXiv:2608.13463v1.

[2] Kaiming He, et al. Deep Residual Learning for Image Recognition. CVPR 2016.

[3] Maxime Oquab, et al. DINOv2: Learning Robust Visual Features without Supervision. TMLR 2024.

[4] Alec Radford, et al. Learning Transferable Visual Models From Natural Language Supervision. ICML 2021.

[5] Jason Wei, et al. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. NeurIPS 2022.

[6] 论文原文链接：https://arxiv.org/pdf/2608.13463v1.pdf

*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～想了解更多原文细节的小伙伴，可以点击"阅读原文"，查看更多原论文细节哦！