香港科技大学病理图分割：自然语言覆盖160类目标，总体Dice达0.671

龙哥导读

病理分割过去常在两条路里二选一：为某一种组织或细胞单独训练模型，或者让医生对图中目标反复点选、框选。香港科技大学等机构提出的PathSegmentor换了一个入口：医生用文字说明“要找哪个器官、哪一层组织、哪一种对象”，统一模型直接输出掩码。它把21套公开数据整理成275,200组图像—掩码—标签三元组，覆盖160个三级语义类别。真正值得关注的不是一句“用语言分割一切”，而是它把类别扩展、交互成本和病理语义放进了同一套系统；同时，作者也明确承认新语义类别、多中心前瞻验证与高风险临床使用仍有距离。

想象一张病理切片：其中可能同时有肿瘤组织、间质、坏死区、上皮细胞、淋巴细胞和成百上千个细胞核。普通人看到的是一片粉紫色纹理，病理医生看到的是不同尺度、不同含义的结构。计算机若要辅助分析，第一步往往不是直接给出诊断，而是先回答一个更基础的问题：哪些像素属于我们关心的对象？

这就是病理图像分割。模型需要给每个目标画出精确边界，输出一张与原图对齐的“掩码”。掩码不是随手圈一个大概范围，而是逐像素标出目标区域。它可以用于测量肿瘤面积、统计细胞数量、分析组织空间关系，也可以给后续分类模型提供更清楚的对象级信息。

问题在于，病理图里的“目标”不是一个固定答案。同一个“肿瘤”可能指大片肿瘤组织，也可能指单个癌细胞；同一种细胞在乳腺、结肠、肺和前列腺里又有不同形态。PathSegmentor的出发点，就是让模型不仅知道“在哪里”，还要知道“在什么器官、哪个组织层级、要找什么对象”。

一、为什么病理分割长期离不开专用模型和逐个点框

传统专用模型的逻辑很直接：拿一套有标注的数据，针对一个任务训练一个模型。例如，腺体分割训练一套，细胞核分割再训练一套，乳腺肿瘤区域又是另一套。这样做的好处是目标明确，训练配置可以围绕单一数据集优化；代价是每增加一个器官、染色风格或对象类别，团队都可能重新整理数据、训练、验证和维护。

另一条路线来自分割一切模型（SAM）。它学会了按照点、框或已有掩码去分割对象，迁移到医学图像后形成医学分割模型（MedSAM）等方法。医生先框出可疑区域，模型再细化边缘，这比从头训练一个类别模型灵活得多。

但空间提示主要告诉模型“目标大概在这里”，不直接说明“它是什么”。在一幅只有一个大器官的影像里，一个框可能够用；在高密度病理图中，一块小图就可能有288个细胞核或396个细胞。若每个实例都要单独给框，整个全切片又由成千上万块小图组成，交互次数会迅速膨胀。

论文的提示效率分析显示，MedSAM使用实例框时，平均每个掩码所需提示数量约为单文本提示的15倍；组织、细胞核和细胞任务分别约需12、16和28个提示。实例框提供了更精确的位置线索，却把成本转移给了标注者。PathSegmentor试图用一句语义明确的文字代替大批重复点框，例如“乳腺病理中的组织级间质”。

二、先把21套数据翻译成同一种病理语言

统一模型的第一道难题不是网络结构，而是数据怎么合并。不同病理数据集常使用不同命名习惯：有的只写“肿瘤”，有的写“恶性上皮”，有的标组织区域，有的标单细胞或细胞核。若把这些标签直接塞进同一个训练表，“同名不同物”和“异名同物”都会干扰模型。

团队把成果命名为病理语义分割数据集（PathSeg），从21套公开病理分割数据中整理出275,200组“图像—掩码—标签”三元组。所谓三元组，可以理解为一道完整训练题：给模型一张图，告诉它目标类别，再提供正确的像素答案。与只保存图像和边界相比，多出的语义标签让模型能学习“文字所指对象”和“图中区域”之间的关系。

他们把标签改写为三级结构：解剖区域—组织学结构—对象类型。第一层回答来自哪里，例如乳腺、肺、结肠、前列腺；第二层回答观察尺度，是组织、细胞还是细胞核；第三层才是具体对象，例如肿瘤、间质、淋巴细胞、上皮、坏死或炎症相关对象。

图1：PathSeg由21套公开数据整理出275,200组三元组，并按20个解剖区域、3类组织学结构和61种对象类型组织成160个三级语义类别。根据论文公开数据整理。

这里的160不是把20、3、61简单相乘。它代表数据中实际存在并经过整理的组合类别。例如“乳腺—组织—肿瘤”和“结肠—细胞核—上皮”是两个不同目标。这样的命名把原本模糊的“肿瘤”拆开：模型必须同时理解器官背景、观察尺度和对象身份。

数据仍然不均衡。论文列出的掩码分布中，组织约占55.8%，细胞约占28.7%，细胞核约占15.5%；前列腺、结肠、乳腺和肺的占比也不同。这意味着“覆盖160类”不等于每一类都拥有同等数量、同等难度的样本，更不等于模型已经见过所有现实病理概念。三级标签解决的是组织方式，不会自动消除长尾问题。

三、一句话怎样变成像素级掩码

推理时，系统接收两样东西：一张病理图像，以及一条指定目标的文本。训练使用的标准模板大致是“某解剖区域病理中的某组织层级某对象”。文字不是写给医生看的装饰，而是决定模型应该从同一张图中选出哪一类结构的控制信号。

图像编码器先把颜色、纹理、边缘和形态压缩成视觉特征；文本编码器把类别描述变成语义特征。接着，一组可学习查询进入联合特征交互模块。可以把这些查询想成一组“空白探针”：它们先从图像里收集可能的目标区域，再与文字信息交流，逐渐形成“哪块视觉结构最符合当前描述”的表示。

交互模块内部包含交叉注意力、自注意力和前馈网络。交叉注意力让查询从图像特征中读取视觉上下文；随后查询与文本特征一起做自注意力，让文字语义参与筛选和修正。最后，模型生成两类表示：一类负责画候选掩码，另一类负责判断候选与文本是否匹配。

图2：病理图像与自然语言提示分别编码，经过联合特征交互后生成候选掩码，并依据类别表示与文本的相似度选择最终结果。方法流程示意。

具体来说，掩码表示与图像特征做点积，得到多个候选区域；类别表示再与文本特征比较相似度，选择最符合文字目标的掩码。于是，同一张图输入“组织级肿瘤”和“细胞核级炎症细胞”时，模型寻找的是不同尺度、不同语义的对象。

训练直觉也很清楚：21套数据不是各训各的，而是聚合起来端到端训练同一个模型。不同器官、尺度和对象在共享骨干中互相提供形态经验，三级文字则告诉模型哪些相似纹理属于不同语义。统一模型因此不是简单把16个专用模型打包，而是希望学习可复用的病理视觉语言。

四、它和SAM、MedSAM到底有什么不同

SAM最重要的贡献，是把分割从“每个类别一个固定模型”推进到“按提示分割”。但它主要依靠点、框和掩码等空间提示，训练图像也以自然场景为主。它可以根据框找到一个对象，却不天然理解这个对象在病理学上属于哪种组织或细胞。

MedSAM把这种能力适配到医学图像，用大量医学图像—掩码对强化框提示。它适合“人已经知道可疑位置，希望模型精细描边”的工作流。PathSegmentor则把问题改成“人知道想找什么，希望模型在图中自动找出同类区域”。一个更偏位置驱动，一个更偏语义驱动。

两者并不是谁彻底取代谁。空间提示对稀少、集中、位置明确的对象很有价值。论文在内皮细胞任务上就观察到，文本提示模型不如空间提示模型；分析认为这类细胞数量少、分布集中，框提供的精确定位更占优势。反过来，在不规则、小型和高密度目标中，逐实例框选成本很高，文字能一次指定整类对象。

因此更现实的系统可能不是“只用文字”，而是文字回答“找什么”，点框回答“重点看哪里”。论文也把通用空间提示列为未来改进方向，尤其面向训练中没见过的新类别。PathSegmentor证明的是语义提示在病理分割中很有竞争力，不是空间提示从此失去价值。

五、内部45,018个掩码：总体Dice从0.526推到0.671

先解释Dice。它衡量预测区域与标准答案的重叠程度，数值越接近1，说明两块区域越一致。它不会告诉我们模型为什么出错，也不能单独代表临床价值，但很适合比较同一批分割任务中的边界重合水平。

内部验证来自16套数据的测试部分，补充材料说明总体统计汇总了45,018个掩码记录。统一模型的总体Dice为0.671，MedSAM使用单个联合框时为0.526，医学分割网络（nnU-Net）为0.502，文字提示医学分割模型（BiomedParse）为0.242。这里的联合框，是用一个框包住图中该类别的所有实例，目的是让每张图的提示次数与单条文字更可比。

图3：在45,018个内部掩码记录汇总结果中，统一模型总体Dice为0.671，对比MedSAM的0.526、nnU-Net的0.502和BiomedParse的0.242。根据论文公开数据整理。

和三组逐数据集训练的专用模型相比，PathSegmentor在16套内部数据中的14套领先，并且论文报告这些领先达到统计显著。它用一个约4.5亿参数的统一模型处理160类目标；作为对照，16个nnU-Net分别服务于各自数据，另一组16个病理专用模型合计约18.6亿参数。

这组结果最有价值的地方，不是0.671本身有多“高”，而是一个模型在多器官、多尺度、多类别条件下仍能超过大量专用模型。对工程团队而言，减少模型数量意味着训练、版本管理、上线测试和故障排查都有机会简化。但统一模型也会形成共同故障点，一次升级可能同时影响多个类别，验证矩阵反而更大。

细看复杂对象，文字提示尤其适合形状不规则、尺寸很小、实例密集的场景。在最大不规则程度附近，论文拟合趋势中PathSegmentor仍约为0.790，而MedSAM降至0.282；在极小实例附近，前者的Dice优势约为0.372；密度升高时，MedSAM下降超过0.3，而PathSegmentor维持在约0.7附近。这些分析解释了总体提升从何而来。

六、外部数据与两家临床中心：看见泛化，也要看清范围

内部测试仍来自与训练同源的数据集划分，真正棘手的是换数据来源。团队又使用5套完全独立于内部训练数据的外部数据进行测试，但外部所评对象类型都在训练类别中出现过。换句话说，这是跨数据分布的泛化，不是面对全新病理概念的开放词汇测试。

在外部细胞核数据集（CPM17）上，最终补充材料报告统一模型的Dice为0.706；另三套外部细胞核数据分别为0.484、0.428和0.319。

另一套结肠细胞外部数据包含6个类别，统一模型总体为0.290，在恶性上皮和健康上皮上分别达到0.624与0.596，但在内皮细胞上只有0.034，低于空间提示模型。

团队还在两家医院的受限临床数据上评估。临床中心A的乳腺肿瘤组织分割Dice为0.673，中心B的结肠上皮细胞核分割为0.697；补充材料中两行结果相对最强对照的检验均为p≤0.01。这说明模型在这两类、这两个中心的数据上保持了优势。

图4：外部CPM17及两个受限临床中心的代表性Dice结果。不同数据对应不同任务，数值用于展示各自测试表现，不能横向解释为某个中心更容易或更难。根据论文公开数据整理。

这些数字不能被写成“医院病理图普遍达到接近0.7”。两家中心测试的器官、对象与数据规模不同，外部数据也限定在训练时已学过的对象类型。它们支持“在若干跨来源数据上保持竞争力”，还不足以支持“跨医院、跨设备、跨病种都稳定”。真正的临床部署还要面对制片差异、扫描仪差异、罕见形态和工作流变化。

七、医生不按模板说话，模型还能听懂吗

标准模板适合训练，却不符合真实交流。医生可能调整词序、使用简写、带有“疑似”“可能”等保留语，也可能把关键信息塞进更长句子。补充材料因此测试了7种自由表达变化：词序变化、口语化、模糊语气、倒装、拼写变化、噪声长句和中英混合。

在16套数据上，直接把这些变体交给PathSegmentor时，7类变化中有5类的平均Dice下降控制在固定模板基线的1%以内。对于更难的输入，先把自由表达归一化回标准模板可以恢复表现；补充材料报告各类映射准确率从95.6%到99.4%不等，中英混合最低，为95.6%。

但这项实验只改写PathSeg已有标签的表面表达。比如把“乳腺病理中的组织级肿瘤”换个词序，语义对象仍是训练过的那一类。它没有证明模型能凭一句陌生描述发现训练集中不存在的细胞，也没有完成真实临床对话效用评估。

因此，所谓自然语言能力更准确的理解是：用户可以用较自然的表达调用一个已经建立好的160类病理词表。这比记住类别编号或反复点框友好得多，但与真正开放世界的“随便说一个新概念就能分割”仍有明显区别。

八、从画边界到解释分类：对象级扰动做了什么

论文没有停在分割榜单，还尝试把掩码接入乳腺癌分类解释。实验使用985张乳腺癌全切片图像，区分浸润性导管癌与浸润性小叶癌。标准分类模型先把整张切片切成小块、提取特征，再汇总成诊断预测，宏平均曲线下面积达到0.936。

传统遮挡解释常用灰色方块或超像素盖住图像，看预测变化。但这种扰动不懂病理对象：一个方块可能同时盖住肿瘤、间质和正常结构，结果很难翻译成医学语言。PathSegmentor先把预定义病理对象分出来，再只对某一种对象区域做局部模糊。

如果模糊某类对象后分类误差明显增加，说明分类器较依赖这类结构。论文举例中，扰动乳腺肿瘤组织区域后，预测损失从0.003升至0.012。汇总测试样本后，若干与导管癌诊断标准相符的对象获得较高重要性，包括癌细胞、肿瘤组织、肿瘤性细胞核和导管上皮等。

这种解释比“热区在右上角”多了一层语义：它尝试回答分类器依赖的到底是哪类病理结构。不过，误差上升表示模型依赖该区域，不自动意味着这种依赖就是因果机制，也不保证模型没有同时利用染色、制片或数据来源等混杂线索。

九、对象感知激活图：热区终于有了病理名字

另一条路线把顺序反过来：先用PathSegmentor预测不同病理对象的掩码，再把整图特征拆成显式对象表示，最后用对象级多实例学习完成分类。这个模型在同一乳腺癌任务上取得0.953宏平均曲线下面积。

普通类别激活图会用暖色标出对预测重要的位置，却常常说不清那片区域是什么。对象感知激活图同时给出空间热区和对象标签。在导管癌示例中，高激活对象包括坏死或碎屑、肿瘤组织、上皮细胞核；在小叶癌示例中，模型突出癌细胞、导管上皮和肿瘤性细胞核等结构。

这个方向的真实价值，是让机器的内部关注更接近病理医生使用的词汇。医生可以检查模型是否把注意力放在合理对象上，研究者也可以据此提出待验证的影像生物标志物候选。但“候选”不等于新标志物已经成立，仍需独立队列、病理机制和前瞻研究确认。

近期医疗人工智能安全研究反复提醒我们：高分模型最危险的情形，不只是偶尔答错，而是在陌生数据上自信地答错。对象级解释能帮助发现模型依赖了什么，却不是安全证明。若分割本身错了，后续对象表示和解释也会继承错误，因此系统必须把分割质量、分类置信度与人工复核放在同一条流程里。

十、部署价值：省下的不只是一次点框

对病理人工智能团队而言，最大价值可能不是把一次推理从几秒降到几秒，而是减少模型和标签体系的碎片化。过去每个项目都可能有自己的类别名、数据格式、训练脚本和上线服务；统一为三级语义后，数据治理、查询、评测和错误分析有机会共享一套词表。

对标注流程而言，文本提示适合“批量找同类对象”。医生不必为密集细胞逐个框选，可以先指定类别，让模型生成初始掩码，再集中修正错误区域。若把这一步做成人机协同，真正节约的是重复定位的时间；但修正界面、质量抽检和疑难样本升级机制仍要单独设计。

对医院适配而言，统一模型并不意味着拿到权重就能直接上线。每家医院的染色、扫描、切片厚度、病例结构和报告术语都有差异。落地时至少要建立本地类别映射、代表性验证集、分层性能报表和版本回归测试，还要确认模型在常见类别之外何时应该拒绝或转人工。

十一、四个必须正视的局限

第一，新语义类别会下降。PathSegmentor的文本入口很灵活，但能力仍受训练词表与视觉样本约束。补充实验中的语言变体保留了原类别含义，不能替代对未知类别的测试。面对训练中没见过的对象，文字可能告诉模型一个名字，却没有提供足够视觉经验。

第二，空间提示仍然需要。文字适合指定类别，点框适合补充位置。尤其当对象稀少、集中、外观相似，或者用户只关心某个局部病灶时，纯文字可能不够精确。未来把语义与空间提示结合，比争论“文字还是框”更符合临床操作。

第三，需要多中心前瞻验证。当前结果以回顾性公开数据和两家受限中心数据为主。模型是否能在连续入组病例、不同扫描仪、不同染色批次和真实时间压力下保持稳定，需要前瞻试验回答。临床效用还应衡量医生时间、漏检、误检和最终决策变化，而不只看Dice。

第四，临床数据受限会影响外部复核。患者隐私和医院治理决定了临床数据不能随意公开，这是现实约束。相应地，论文的临床结果更适合看作有价值的初步跨中心证据，而不是已经完成大规模独立复现的结论。

此外，PathSeg虽是大规模病理语义分割集合，但作者也指出，它仍小于若干不带语义类别的医学分割语料。给掩码补充可靠语义比只收集轮廓更昂贵。数据扩容若依赖模型预标注，更要防止错误标签在闭环中被放大。

十二、龙哥点评：真正的进步是把维护成本从模型搬到语义体系

龙哥认为，这项工作最值得肯定的不是“又做了一个基础模型”，而是把病理分割里三个长期割裂的问题连起来：数据标签怎么统一、用户怎样低成本指定目标、分割结果怎样进入可解释分类。275,200组三元组和三级词表，是模型指标背后更耐用的资产。

真实价值首先体现在部署与维护。一个统一模型覆盖160类目标，有机会替代一长串按数据集维护的专用服务，也减少密集对象逐个框选的人工负担。但成本没有消失，而是从“训练很多模型”转移到“维护统一语义、做医院适配、持续回归测试”。如果团队没有稳定的数据治理，这个统一入口反而可能把错误扩散得更快。

类别泛化是我最关心的一关。自然语言接口很容易让人产生“说什么都能分”的错觉，实际证据支持的是160类已整理目标及其表达变体。产品界面应该明确可用类别，遇到陌生对象时给出低置信提示，必要时要求空间提示或人工确认，而不是用一个流畅的文字入口掩盖能力范围。

医疗高风险场景还要把错误代价拆开看。漏掉小片肿瘤、把炎症误当肿瘤、边界偏差影响定量，这些错误的临床后果不同，不能被一个总体Dice平均掉。部署评估应按器官、对象、密度、大小和罕见程度分层，并记录哪些结果必须由病理医生复核。

它与近期医疗AI安全研究的共同问题是：模型进入陌生数据时，怎样知道自己不可靠。PathSegmentor提供了对象级掩码和更可读的解释接口，这是好基础；下一步更重要的是把分布外检测、低置信拒绝、人工复核和版本审计接起来。高风险医疗系统的成熟，不是模型永远不犯错，而是错误能被发现、限制和追责。

十三、龙迷三问

第一问：自然语言是不是可以随便描述任何新目标？
不是。当前最强证据覆盖PathSeg整理的160类目标，以及这些既有标签的词序、口语、拼写、噪声句子和中英混合变体。遇到训练中没有的新语义类别，性能可能下降。

第二问：有了PathSegmentor，还需要医生点框吗？
需要按场景决定。高密度同类对象适合文字一次指定；稀少、集中或局部目标可能更依赖点框定位。文字与空间提示结合，才更可能覆盖完整工作流。

第三问：0.671能否说明已经可以临床使用？
不能直接这样推断。它是45,018个内部掩码记录的总体重叠指标。外部数据和两家中心结果提供了进一步支持，但仍需多中心前瞻试验、医院本地验证、风险分层和医生复核机制。

十四、总结：从“给我一个框”走向“告诉我你要找什么”

PathSegmentor把21套公开病理分割数据整理为275,200组图像—掩码—标签三元组，用“解剖区域—组织学结构—对象类型”三级体系形成160个语义类别。模型同时编码病理图像和文本提示，通过联合特征交互生成候选掩码，再选择与文字最匹配的结果。

在45,018个内部掩码记录上，它的总体Dice为0.671，高于MedSAM的0.526、nnU-Net的0.502和BiomedParse的0.242；与专用模型比较时，在16套数据中的14套领先。代表性外部细胞核数据达到0.706，两家临床中心分别为0.673和0.697。

自由表达实验说明，多数既有标签的语言变体只带来很小性能下降；对象级扰动和对象感知激活图，则尝试把分割结果用于解释乳腺癌分类。它让热区不只是一片颜色，还能对应到肿瘤、坏死、上皮或细胞核等病理对象。

但这还不是开放世界分割，也不是完成临床验证的诊断产品。新语义类别可能退化，空间提示仍有补充价值，临床数据受限，多中心前瞻研究尚未完成。内部和外部结果应放在各自实验条件里理解，不能外推为所有医院、所有病种的普遍水平。

这项工作的核心意义，是把病理分割的交互单位从“一个点、一个框”提升为“一个有层级的医学概念”。如果未来再补上空间提示、未知类别识别和临床安全闭环，它有机会成为病理图像分析中的统一语义入口，而不只是又一张分割榜单。

本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。