← 返回 PaperDaily 视觉与图像

西南科大新研究：去掉文本Dice从91.61%暴跌至40.76%，医学图像分割真的离不开文字？

每次看到给医学图像分割加文本引导的工作，龙哥都会问一句：那行文字到底起多大作用？这篇论文用5个预训练医学视觉语言模型和4种融合算子做了系统性交叉实验，还提出一个轻量诊断工具做证据解耦，把“换融合头不涨点、去文本却崩盘”这类反直觉现象掰开揉碎了讲清楚，值得做多模态医学影像的读者花几分钟细读。

龙哥读论文发布于 2026-09-05 00:31:07 阅读 2 查看原文

#AI医疗 #图像分割 #多模态

西南科大新研究：去掉文本Dice从91.61%暴跌至40.76%，医学图像分割真的离不开文字？

paperdaily_reaction_gif

原论文信息如下：

论文标题:
Characterizing Text Branch Sensitivity in Medical Vision-Language Segmentation via Evidence Decoupling（通过证据解耦刻画医学视觉-语言分割中的文本分支敏感性）

发表日期: 2026年09月
发表单位: 西南科技大学信息与控制工程学院（School of Information and Control Engineering, Southwest University of Science and Technology）
原文链接: https://arxiv.org/pdf/2609.02663v1.pdf

引言：给医学影像配一句诊断描述，模型真的领情了吗？

想象一个场景：给一张乳腺超声图配上文本描述“左乳上方可见一个边界不清的低回声肿块”，让视觉语言模型据此分割出病灶区域。这类“文本引导的医学图像分割”最近火得不行，各大顶会论文都在设计越来越花哨的跨模态融合模块，仿佛只要把文本和图像融得好，分割精度就能更上一层楼。

但很少有人停下来问一个更基础的问题：那行文本到底在像素级预测里贡献了多少？是像导航一样指哪打哪，还是只是给模型递了张小纸条，偶尔瞄一眼、多数时候根本不影响决策？

西南科技大学的研究者把这个问题抛到了台面上。他们没有直接端出一个新网络去刷榜单，而是做了三件事：先系统评估文本和图像的融合方式到底有多重要，再设计一个能解耦图像证据和文本证据的轻量解码器当“透视镜”，最后用文本扰动实验定量刻画不同数据集对文本的真实依赖程度。结论相当反直觉：融合模块怎么换结果都差不多，文本去留的影响却在不同数据集上天差地别——在乳腺超声和脑肿瘤MRI上，去掉文本分割性能直接崩盘，而在皮肤镜和肠镜数据集上，文本几乎是可有可无的“气氛组”。

研究目标：回答“文本分支到底贡献了多少”

这项工作的目标非常聚焦，就是回答三个层层递进的问题。

第一问：融合算子的选择对性能有多大影响？目前主流文本引导分割框架，无论采用早期融合、注意力融合还是对比对齐，本质上都是在图像特征和文本embedding之间做信息混合。如果不同结构的融合算子性能几乎一致，那就说明当前的瓶颈并不在融合微观结构上，继续堆融合模块很可能是在错误的方向上花力气。

第二问：模型内部究竟如何表征图像和文本的交互？光看最终分割精度无法回答这个问题，得“打开盒子”看看中间特征。为此作者引入证据深度学习框架，提出证据解耦解码器，把解码过程中每一层的证据拆成纯图像证据和文本调制证据两条流，用这套内部表征分析工具研究模态交互。

第三问：文本扰动会让模型性能发生多大波动？这是在行为层面给文本分支做“压力测试”：删掉文本、换成随机不相关文本、去掉位置描述、提供语义矛盾的文本，看性能曲线怎么走，从而判断模型对文本的真实依赖度、以及依赖的是文本里的哪类语义成分。

这三个问题环环相扣，从宏观性能到内部表征再到行为敏感度，构成一套完整的多模态医学分割“体检方案”。

术语解读：看不懂这仨词，后面就白看了

在进入方法论之前，先花一分钟把三个关键术语摆到台面上，否则后面容易被绕晕。

多模态医学分割的"灵魂拷问"：文本分支到底贡献了多少？

论文读到这里，真正的正题才刚开始。把图像和文字一起喂给分割模型，这是视觉语言模型（Vision-Language Model，VLM）进入医学影像后最常见的一种玩法。但一个必须被追问的问题是：多出来的那个文本分支，在像素级决策里到底是"主力队员"，还是"气氛组"？

这篇论文没有急着换一种新的融合结构去刷点，而是反过来做了一次冷静的"称重"。研究者在乳腺超声（BUSI，Breast Ultrasound Images dataset）、脑肿瘤MRI（BTMRI，Brain Tumor MRI dataset）、肠镜图像（Kvasir-SEG）、皮肤镜图像（ISIC，International Skin Imaging Collaboration）四个来自MedCLIPSeg库的图文配对数据集上，搭配五个有代表性的预训练视觉语言模型——通用域的CLIP，医学域的MedCLIP、PubMedCLIP、BioMedCLIP、UniMed-CLIP——做了一次交叉大摸底。实验设计并不复杂，结果却相当有冲击力：换不同融合模块，分割性能几乎纹丝不动；而一旦把文本抽走，某些数据集上的性能直接"跳楼"。比如MedCLIP在BTMRI上，Dice从91.61%瞬间跌到40.76%。

这两种现象摆在一起，仿佛在暗示：过去很多工作花大力气设计的注意力融合、门控融合、跨模态交互模块，可能并没有真正改变模型"用信息"的方式。真正的分歧，藏在文本内容本身是否提供了图像里缺失的约束条件。

四种融合算子结果惊人一致：视觉特征才是"主角"？

先看看这个基线网络长什么样。图像进入图像编码器，文本进入文本编码器，得到一个全局的文本嵌入向量；解码器采用U型层级结构，每一层把深层的上采样特征和编码器的跳跃连接特征相加，此时再注入文本向量，最后经过一个小型分割头输出掩码。

为了把"文本怎么融进来"这个问题测透，作者挑了四种拓扑结构差异很大的融合算子：

FiLM（Feature-wise Linear Modulation，逐特征线性调制）用文本特征生成一组缩放和平移参数，对图像特征做逐通道的仿射变换，相当于给视觉特征统一调个"音量"和"偏置"。

交叉注意力（Cross-Attention）让文本token和每个空间位置的视觉特征做注意力交互，理论上有能力做到"文本关注哪里，图像哪里就被激活"，自由度看起来最高。

通道门控（Channel Gating）由文本生成一个通道级门控向量，决定图像特征哪些通道的信息被保留、哪些被压制，本质上是一个"滤波开关"。

拼接（Concat）最简单的做法，把文本特征广播后直接和视觉特征拼在一起，再交给卷积层去自己学怎么融合。

先看结果中的第一个维度：不同视觉语言编码器带来的差距到底有多大。下表对比了五种预训练VLM编码器，以及UNet、UNet++等纯视觉模型的分割表现。

表1：评估所用编码器的架构与预训练细节。

表2：不同VLM编码器在四个数据集上的分割性能，加粗为最优结果。

表2里有几个细节值得咂摸。第一，加了文本的VLM编码器通常比纯视觉的UNet类模型高出一截，说明文本对分割确实有正收益。第二，没有哪个编码器能通吃所有数据集：MedCLIP在BTMRI和Kvasir-SEG上表现最好，UniMed-CLIP在BUSI和ISIC上领先。也就是说，视觉特征质量本身才是决定分割上限的主要因素。

接下来是第二个维度的对比：固定住某一个VLM编码器，只换融合算子的方式，会带来多少变化？结果如表3所示。

表3：不同融合模块在四个数据集上的平均Dice分数与最大波动范围Δmax。

视觉冲击力就在这张表里。FiLM、交叉注意力、通道门控、拼接这四种在结构上八竿子打不着的融合方式，最终平均Dice的最大差距不超过2.75%，多数模型甚至只有0.5%左右的波动。相比之下，不同VLM编码器之间动辄百分之四五个点的差距，完全不是一个量级。

这个现象背后有一个非常直白的解释：在预训练VLM的表征空间里，视觉特征携带的判别信息量远远压过了文本向量带来的增量信息。文本embedding本质上是一个压缩过的全局语义向量，它只能对图像特征做某种"软调节"，无法凭空注入视觉特征里没有的细粒度空间细节。所以，融合模块到底长什么拓扑结构，对结果来说属实有点"换汤不换药"。这倒不是说文本没用，而是说，如果真想提升多模态分割的上限，与其沉迷设计新的融合头，不如认真考虑怎么提升视觉编码器本身。

证据解耦解码器：给模型装上"模态透视镜"

只看最终的Dice和IoU，能判断文本有没有用，但看不出模型内部图像和文本各自"出了多少力"。传统分割网络最后的softmax输出是归一化概率，总和恒为1，模型一旦对某个类别给出高置信度，就没办法同时表达"这个预测其实缺乏证据支持"。因此作者引入证据深度学习（Evidential Deep Learning，EDL）作为新的理论底座。

EDL的核心思想是：把网络的输出看成一项项非负的"证据"，对应狄利克雷分布的参数。证据越多，模型对某个类别的把握越大；所有类别的证据都少，则模型处于一种"没见过、不知道"的状态，认知不确定性很高。这种做法天然比softmax更适合做模态归属分析，因为证据是"可加"的——图像出一份证据，文本调一份证据，最后叠加在一起，谁贡献多谁贡献少，一目了然。

顺着这个思路，作者提出了证据解耦解码器（Evidence Decoupling Decoder，EDD），它不是一个争夺SOTA的新分割网络，而是一个寄生在解码器内部的"模态透视镜"。整体框架如下图所示：图像和文本分别过编码器后，送入U型解码器逐层上采样；EDD在每一层解码特征进入融合模块之前，把视觉特征分别投影为两条证据流。

图1：基线框架将图像和文本分别送入编码器，解码器逐步融合特征完成分割；下半部分展示了四种融合算子的结构。

第一条流是图像证据流。在当前层的视觉特征u(l)后面接一个1×1卷积加Softplus激活，直接得到非负图像证据图eI(l)。这条路只吃图像特征，反映视觉编码器独立判断目标的能力：

公式：第l层图像证据图eI(l)由该层视觉特征u(l)经过1×1卷积和Softplus非线性得到，Softplus的作用是保证输出为非负证据。

第二条流是文本调制证据流。这里有一个绕不开的麻烦：文本向量是全局的，没有像素坐标，不可能独立生成一张有空间分辨率的证据图。作者的处理方式是把文本证据建模成一种"全局语义强度系数 + 图像空间响应基"的乘积：文本向量经MLP映射成K维语义强度系数，其中K是类别数；同一层视觉特征则经过另一组独立的1×1卷积加Softplus，得到空间证据基。两者做通道级广播相乘，就得到了文本调制证据图。

公式：文本向量t经过MLP得到K维非负语义强度系数eTchan；当前层视觉特征通过独立卷积得到空间证据基s(l)；二者做通道级广播乘积，生成文本调制证据图eT(l)，⊙表示逐通道相乘。

这个设计把文本的作用方式牢牢限制在"语义调制"上：文本决定放大还是抑制哪一类空间响应，空间结构仍由图像提供。作者在论文里也坦率地承认，eT并不是一种独立于视觉的文本证据，而是"文本调制的视觉证据"，其空间坐标天生继承自视觉特征。这个约束非常重要——从根上决定了EDD测量的是模型学到的模态交互，而不是某种与图像无关的文本像素通路。

两条证据流最终做逐元素相加，得到当前层的融合证据：

公式：当前层的总证据由图像证据和文本调制证据直接相加得到，不需要额外的可学习参数，结构透明。

为了让每一层的证据头都能被训练起来，作者借鉴了深层监督的思路：在每一个解码层都施加EDL损失，让不同分辨率的证据图共享同一份分割标签作为监督信号，而不是只在最深层监督。整个网络的训练目标从普通的Dice损失加交叉熵损失，换成了"分层的证据回归损失"——包含一个让预测接近真实标签的误差项，和一个把非目标类别证据推向0的KL正则项。最终，每个像素的认知不确定性可以由总证据量S换算得到：总证据越少，不确定性越高。

读者自然会问：加了这么一堆辅助头，会不会把主分割任务带偏？表4给出了对比答案。

表4：标准VLM解码器与证据解耦解码器（EDD）的分割性能对比（Dice / IoU，%）。

在绝大多数模型和数据集的组合下，EDD的分割精度和标准解码器基本持平，有些组合甚至小幅上涨，比如PubMedCLIP在BTMRI上提升了6.32%，CLIP在BUSI上提升了2.08%；少数组合略有下降，但幅度在医学分割的正常波动范围之内。这说明证据解耦分支并没有系统性破坏原始分割优化，可以放心地当作分析工具来用。

文本扰动实验：哪些数据集真的离不开文本？

证据图能帮我们看到模态交互的空间分布，但要想定量回答"文本到底有多重要"，还得做控制变量实验。作者在推理阶段设计了五种文本条件，对已经训练好的模型进行"压力测试"：

原始文本（Original）：使用原本配对的正确文本描述，作为性能上限参照。

无文本（w/o Text）：直接把文本输入置零，相当于把多模态模型退化成纯视觉模型。

随机文本（Random）：换成从别的样本里随机抽来的、与本图完全不相关的报告描述，测模型会不会被无关语义干扰。

缺少位置描述（Missing Location）：把文本里的病灶方位、象限、距体表距离等空间定位线索删掉，观察模型对"位置词"的依赖程度。

矛盾文本（Contradictory）：提供自相矛盾的描述，比如一边说"可见肿块"一边又说"未见明显异常"，专门用来刁难模型。

下面这张表给出了MedCLIP和CLIP两个模型在这五类扰动下的详细数值。

表5：文本扰动对MedCLIP和CLIP分割性能的影响（Dice / IoU，%）。

这张表的信息量非常大，逐项拆开来看。

在BTMRI脑肿瘤MRI数据上，MedCLIP原本Dice为91.61%，去掉文本后直接跌到40.76%，换成随机文本也只有60.05%，而扔给它一句矛盾文本更是掉到14.73%——可以说是"给啥都信，给错就崩"。值得注意的是，删除位置描述后性能几乎没掉（90.88%），说明脑肿瘤MRI上的文本敏感度，主要来自"这里存在某种肿瘤/类别是什么"这类存在性语义，而不是病灶具体长在哪个坐标。

BUSI乳腺超声数据呈现出另一番景象。无文本时MedCLIP从82.43%掉到54.50%，而删除位置描述也出现了明显下滑，从82.43%掉到71.58%。这说明超声图像里"病灶在几点钟方向、距皮肤多深"这类位置信息，确实是模型依赖的重要线索。这也符合临床直觉：超声噪声大、病灶边界模糊，单纯看图像常常难以锁定目标，文字里的方位词相当于给模型递了一张小地图。

到了ISIC皮肤镜数据集上，MedCLIP的表现则相当硬气：去掉文本后依然有89.76%的Dice，几乎不依赖文本。皮肤镜图像里的病灶和正常皮肤在颜色、纹理上反差大，视觉特征本身就足以支撑分割，文本自然退居二线。但同样在ISIC上，CLIP去掉文本后Dice从92.37%跌到49.37%，说明文本敏感度不只取决于数据集，还要看具体的视觉编码器够不够强。

为了更宏观地确认这个结论，作者把五个模型在四个数据集上的Dice分布画成了箱线图：

图3：五个模型在四种文本扰动条件下于四个数据集上的Dice分布箱线图。

箱线图把"数据依赖"和"模型依赖"同时摊开了：ISIC和Kvasir-SEG上各模型的Dice分布又高又紧，文本扰动没什么杀伤力；BUSI和BTMRI上分布则被拉得很开，一副"文字一变就翻脸"的架势。

把这些结果放到一起，可以提炼出一个核心判断：文本对分割的贡献从来不是恒定的。模态本身的判别难度、病灶和背景的对比度、视觉编码器的预训练质量，都在共同决定文本的"边际价值"。以后做多模态医学分割，不应该再默认"加文本就涨点"，而是要先回答一个前置问题：这个数据集上的视觉特征究竟欠了多少约束？

从观察到洞见：对多模态医学分割设计的启示

这篇论文的意义不在于发明了一个多么复杂的网络，而在于提供了一套把"文本贡献"这件事量化、可视化的方法。它对未来的模型设计至少有四点启示。

第一，融合算子的创新空间可能被高估了。四种结构迥异的算子结果几乎打平，提示我们在当前预训练表征条件下，解码器里加什么融合头可能只是局部最优问题。与其在一个星期里折腾七种 attention 变体，不如把力气花在更有杠杆效应的视觉端改进上。

第二，文本依赖度是一个必须正视的鲁棒性变量。BTMRI和BUSI上的模型一旦失去文本或在文本中掺入噪声，性能会剧烈恶化。现实中医学影像报告来自自动语音识别、大模型生成或不同医生口述，质量参差不齐，如果模型把宝全押在文本上，一旦文本链路出问题，后果可能很严重。产品化时有必要为文本缺失设计降级策略。

第三，证据解耦可以作为通用分析工具。EDD虽然是在医学分割场景提出，但其"把单模态证据和跨模态调制证据解耦并深层监督"的思路，可以迁移到其他VLM任务中去诊断模态失衡。论文的实验也证明，这种解码器几乎不影响原始分割精度，作为归因工具的门槛很低。

第四，需要警惕"文本万能"的叙事惯性。文本在ISIC/Kvasir-SEG上几乎帮不上忙，在BTMRI/BUSI上却举足轻重，这提醒审稿人和研究者：报告一个多模态方法的涨点时，最好同时报告去掉文本的退化幅度，否则很难判断涨点到底是跨模态融合真正起作用，还是仅仅因为视觉backbone本身更强。

当然，EDD本身也存在解释边界。既然文本证据的空间结构完全来自视觉特征，它就只能回答"文本在哪些位置调节了图像响应"，回答不了"文本是否独立地告诉模型病灶在哪里"。如果想走得更远，未来的工作或许需要考虑更细粒度的文本token级证据，或者引入无文本对照的因果干预，才能把文本贡献从"调制"和"定位"两个维度彻底分开。

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：

这篇论文到底在解决什么问题？本文系统研究了多模态医学图像分割中文本分支的真实贡献。通过5个预训练医学视觉语言模型与4种融合算子的交叉实验，发现融合结构对性能影响极小，同时提出证据解耦解码器，实现对图像与文本证据的解耦分析，揭示文本敏感度存在显著的数据集依赖。

这篇工作最值得看的点是什么？实验表明四种融合算子产生几乎相同的分割性能，最大波动仅2.75%；EDD在保持与标准解码器相近性能的同时实现证据解耦；文本扰动实验显示BTMRI和BUSI对文本高度敏感，ISIC和Kvasir-SEG对文本相对不敏感。

这篇工作的边界或风险在哪里？优点：(1)系统性地揭示了融合模块设计对多模态医学分割性能影响有限的重要发现；(2)提出的EDD能够在不损失精度的情况下实现逐层证据解耦，为理解模态交互提供了新工具；(3)文本扰动实验设计合理，揭示了文本敏感性的数据集依赖性。缺点：(1)文本证据的空间化依赖于视觉特征，无法真正分离纯文本贡献；(2)证据解耦的语义解释性有限，反映的是模型学到的表征而非真实模态归因；(3)未提供理论保证或更严格的因果分析。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★★☆

提出证据解耦解码器(EDD)，利用证据深度学习与深度监督将解码过程中图像证据与文本调制证据逐层解耦，以分析文本分支在医学视觉语言分割中的真实贡献。

实验合理度：★★★★☆

Dice系数和IoU。

学术研究价值：★★★★☆

提出证据解耦解码器(EDD)，利用证据深度学习与深度监督将解码过程中图像证据与文本调制证据逐层解耦，以分析文本分支在医学视觉语言分割中的真实贡献；更关键的是问题定义是否可复用到同类任务。

稳定性：★★★☆☆

现有材料未提供充分的极端条件、重复运行或扰动测试，稳定性暂按中性评价。

适应性以及泛化能力：★★★☆☆

现有材料未完整展示跨数据集、跨场景或分布外实验，泛化能力仍需进一步验证。

硬件需求及成本：★★★☆☆

未明确报告FLOPs，实验在NVIDIA V100 32G GPU上进行训练和测试。

复现难度：★★★☆☆

现有材料未确认完整代码、配置、数据处理脚本和权重是否齐备，复现难度暂按中性评价。

产品化成熟度：★★★☆☆

论文验证以研究实验为主，真实部署中的时延、成本、维护和异常场景仍需补充验证。

可能的问题：(1)文本证据的空间化依赖于视觉特征，无法真正分离纯文本贡献；

*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～想了解更多原文细节的小伙伴，可以点击"阅读原文"，查看更多原论文细节哦！