FDA最新研究：病理图像评估不用纠结，换个特征提取器，相关性飙8倍？

病理图像合成评估的困境：通用指标为何失效？

先来聊一个问题：怎么判断一张“造假”的病理切片图像到底像不像真的？

在计算病理学领域，标注数据稀缺一直是让研究者头大的事儿。虽然像生成对抗网络（GAN）和扩散模型这类生成模型已经被广泛用于制造合成数据来扩充训练集，但一个非常致命的问题随之而来：这些合成的病理图像，质量到底怎么样？

常规的做法是套用自然图像领域的评价指标，比如弗雷歇初始距离（Fréchet Inception Distance，FID）和初始分数（Inception Score，IS）。FID衡量的是真实图像与生成图像在某个特征空间中的分布差异，数值越低代表生成图像与真实图像的分布越接近；而IS则利用分类网络的输出概率，评估生成图像的类别多样性和单个样本的可区分度。但问题恰恰出在“某个特征空间”这几个字上——这两个指标默认使用了在ImageNet上预训练的InceptionV3网络来提取特征。

ImageNet是什么？那是自然图像的天下，有猫、有狗、有汽车、有飞机。病理图像呢？满屏都是细胞核、组织结构、染色质纹理。让一个看惯了猫狗的网络去评价病理切片的逼真度，就好比让一个从没吃过川菜的美食家给重庆火锅打分——他可能会说“挺辣的”，但很难分辨出这锅底料到底是正宗牛油锅还是随便兑的。具体到数值上，InceptionV3提取的特征在病理图像上区分度极低，导致FID和IS的数值范围被严重“压缩”。比如IS分数，无论是真实图像还是生成图像，全都挤在1.00到1.07这个极小的区间里，几乎完全丧失分辨能力。

更离谱的是，用一个“粗训练”的生成模型和一个经过“精调”的生成模型分别制作图像，InceptionV3版本的IS居然给出完全一模一样的分数。这已经不是“不好用”的级别了，这完全是“失灵”。

图2直观地展示了这种差异：粗训练模型生成的图像颜色明显偏蓝，而精调后的模型输出的图像在色彩分布上与真实图像已经非常接近。可如果用InceptionV3去算IS，这两个模型得到的分数一模一样。这不就相当于一个评委对两幅水平差异明显的画作打了同样的分吗？所以本文的第一个核心判断非常明确：在自然图像上预训练的特征提取器，用来评估病理图像合成质量是不靠谱的，需要为病理域量体裁衣。这也正是本文的出发点——来自美国食品药品监督管理局（FDA）的研究团队，提出了一套专门面向病理图像的合成数据评估方案。

两阶段训练策略：从粗到精的生成质量控制

既然要研究“合成图像质量如何评估”，那首先得能制造出“不同质量档次”的合成图像，否则评估指标根本没有施展的空间。本文使用条件去噪扩散概率模型（Denoising Diffusion Probabilistic Models，DDPM）作为生成框架，并提出了一个非常朴素但有效的两阶段训练策略。

第一阶段叫“粗训练”（Coarse Model Training），按照文献[2]的设置，以0.0001的学习率训练U-Net直到收敛。这个阶段得到的模型能够生成结构上说得过去的图像，细胞核的大致形态和位置都对，但存在明显的颜色偏移，纹理细节也比较粗糙。第二阶段叫“精调训练”（Fine-Tuned Model Training），在粗模型收敛之后，去掉条件训练组件，将学习率降至0.00002继续训练。这个阶段生成的颜色保真度和纹理细节都明显上了一个台阶。

这里有个很有意思的技术细节：条件信息的注入方式。模型用的是实例分割掩码（instance segmentation mask）作为条件，但不是说把掩码跟噪声图简单拼在一起就完事了。掩码被拆成了三个通道：第一个通道是二值前景背景掩码，区分核区域和背景；第二个通道是水平方向梯度图，每个细胞核内的像素值从最左侧的-1线性插值到最右侧的1；第三个通道是垂直方向梯度图，语义类似。这三个通道一起输入到空间自适应归一化（SPADE）模块中，逐像素地调制U-Net归一化层的激活值，从而在空间上引导生成特征与给定的核结构对齐。这种设计的好处是，模型不仅知道哪里是细胞核，还知道每个细胞核内部的空间坐标信息，相当于给每个核都发了一张“定位卡”。

训练数据方面，本文选了四个公开的基准数据集：MoNuSeg（多器官细胞核分割数据集，包含来自TCGA的40倍放大H&E染色图像）、TNBC（三阴性乳腺癌数据集，涵盖了正常上皮细胞、肌上皮细胞、浸润性癌细胞和多种免疫细胞）、2018 Data Science Bowl数据集（包含多种染色方式和放大倍数下的细胞核图像，但本文只用了其中的H&E染色部分）以及PanNuke（泛癌种组织学数据集，包含10种癌症类型的约8000张图像）。四个数据集各有侧重，合在一起覆盖了不同的染色条件、组织来源和细胞类型，保证实验结论的普适性。

生成的合成图像用于后续的两类实验：一是用各种质量指标对合成数据打分，二是将合成数据混入真实数据中训练下游分割模型，看合成数据对分割性能的影响。这里要说一句，两阶段训练策略本身并不复杂，但它的价值在于为“评估指标”研究提供了一个可控的变量体系——粗模型和精调模型在视觉质量上存在肉眼可见的差异，恰好可以用来检验哪些指标能敏感地捕捉到这种差异。

病理学基础模型驱动的评估指标革新

评估指标革新的核心思路并不复杂：既然InceptionV3是看自然图像长大的，那就换一个在病理图像上预训练的“专家”来当特征提取器。本文选用了三个病理学基础模型：UNI（由Massachusetts General Hospital和哈佛医学院等机构训练的病理学自监督模型）、Virchow和Virchow2（均由微软研究院与Providence等机构合作训练的病理学基础模型）。这些模型在海量病理切片图像上进行了自监督预训练，对细胞核形态、组织结构、染色差异等病理学特有视觉特征有更深入的表征能力。

沿着这条主线，本文对FID、IS、Precision（精确率）和Recall（召回率）这四类指标都做了“换特征提取器”的改进。FID在公式上计算的是真实图像特征与生成图像特征之间的均值和协方差距离，公式如下：

其中μr和μg分别是真实和生成样本的均值特征向量，Σr和Σg是对应的协方差矩阵，Tr表示矩阵的迹。IS则测量生成图像的类别预测分布与边缘分布之间的KL散度，公式如下：

Precision衡量的是生成样本落入真实样本流形的比例，Recall则相反，衡量真实样本被生成分布覆盖的比例。两个公式中对d(x, y)表示样本间的欧氏距离，ε为距离阈值，MG和MR分别表示生成样本流形和真实样本流形。

IS在实现上有一个调整：直接使用各特征提取器输出的归一化特征向量来计算，而不是依赖分类输出的类别概率。这样做的原因是，病理基础模型的输出特征空间并非为自然图像类别设计，强行套用分类概率反而丢失了分布信息。

结果非常有意思。表格1展示了基于InceptionV3的FID/IS/SSIM/PSNR结果，可以看到FID虽然从粗模型到精调模型有一定的下降（比如MoNuSeg从41.72降到25.65），但IS分数完全“躺平”，全是1.00或者1.05之类的小数。

而换上病理基础模型之后，情况完全不一样了。表格2中，UNI、Virchow、Virchow2三个模型给出的FID范围大幅扩展，而且更重要的是，在大多数情况下能够正确地区分出粗模型和精调模型的差异。以MoNuSeg数据集为例，UNI的FID从2156.59降到1665.67（改进22.8%），Virchow从1369.57降到1056.10（改进22.9%），Virchow2从1971.40降到1422.35（改进27.9%）。IS指标同样有了分辨力，UNI在DSB 2018数据集上给出的IS达到1.65，而InceptionV3只有1.05。

精度和召回率方面的变化也很有意思。表格3显示，对于PanNuke数据集，InceptionV3给粗训练和精调模型输出的精度分别打了0.5538和0.6372分，相对变化只有15.1%。相比之下，病理基础模型给出的精度虽然绝对值更低，但相对变化幅度非常惊人——UNI提升311.3%，Virchow提升126.1%，Virchow2提升298.9%。这说明InceptionV3眼中的“质量差异”和病理基础模型眼中的“质量差异”完全不在一个量级。

从特征可视化角度也能看到这种差异。图3中的t-SNE和UMAP可视化显示，InceptionV3提取的特征中，真实图像和合成图像的分布几乎重叠在一起，难以区分；而Virchow提取的特征中，两者形成了明显的簇状分离。这说明病理基础模型确实捕捉到了InceptionV3无法感知的域间差异。

合成数据质量与下游分割性能的关联揭示

一个更值得关注的问题是：合成图像质量指标与下游任务性能到底有没有关系？如果某个质量指标非常高，但用它扩充训练集之后分割模型反而变差了，那这个指标再“灵敏”也没有实际意义。

本文选取的下游任务是H&E染色病理图像中的细胞核分割，使用HoVerNet模型作为下游任务的承载者。HoVerNet是一种专门为病理图像中的细胞核同时进行分割和分类而设计的深度学习架构，通过预测水平方向和垂直方向的距离图来分离相邻的甚至重叠的细胞核。评价指标采用Dice系数（衡量语义分割的像素级重叠程度）和AJI+（Aggregated Jaccard Index改进版，衡量实例分割质量）。

表格4给出了HoVerNet在不同数量真实数据和合成数据组合训练下的分割测试结果。可以看到，加入合成数据之后，分割性能在部分数据集上有提升，但并不是所有情况下都是“合成数据越多越好”。

最核心的结果在表格5的相关性分析中。将合成数据质量指标与下游分割性能指标做相关性分析后发现：改进后的病理域IS与AJI+的相关系数r=0.6096（p=0.0122），而原始IS与AJI+的相关系数只有r=0.0708（p=0.7944），一个是显著相关，一个完全没有统计意义。这个对比堪称整篇论文最高光的时刻。

另一个有趣的结论是：合成训练数据的多样性（coverage）比单张图像的视觉保真度（congruence）对下游分割模型性能的正面影响更大。也就是说，与其费劲把每一张合成图像都打磨到以假乱真，不如让合成数据的覆盖面更广、更有变化。这个结论乍一看有些反直觉，但细想非常有道理——对下游任务而言，模型见过的情况越多，泛化能力就越强；而单张图像再逼真，如果整体分布狭窄，模型在真实世界的多样化场景中还是容易翻车。

未来展望：迈向更可靠的病理图像合成评估体系

这项工作本质上是在给“合成病理图像质量评估”补一个方法论的地基。但也要客观地看到，这项研究还有一些值得继续深挖的地方。

首先，样本量确实不算大。四个数据集、几十张测试图像，统计功效有限。特别是相关性分析中，数据点个数和特征提取器种类都不算太多，个别数据集上出现了粗训练的IS反而比精调模型更高的“倒挂”现象，本文将其归因于原始图像数据集的质量差异，但这个解释还需要更大规模的实验来验证。其次，目前只验证了一个下游任务（细胞核分割）和一个下游模型（HoVerNet）。对于分类、检测、生存分析等计算病理学的其他核心任务，改进后的指标是否依然与下游性能保持一致的相关性，这个问题还没有答案。

可复现性方面，论文对实验设置的描述足够详细，包括学习率、数据划分、补丁大小等关键参数都有交代，这值得肯定。未来，随着更多专门面向病理图像的评估基础模型被开发出来，以及更多基于合成数据的下游任务验证工作陆续出现，合成病理图像的质量评估有望形成一个更统一、更可靠的规范化体系。对于计算病理学研究者和AI制药、辅助诊断等领域的从业者来说，这无疑是一个值得持续关注的方向。

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：

这篇论文到底在解决什么问题？FDA研究团队发现通用FID/IS指标在病理图像上几乎失灵，提出用UNI、Virchow等病理预训练基础模型替换ImageNet特征提取器，修正后IS与核分割性能相关性从0.07…

这篇工作最值得看的点是什么？改进的病理学特定IS指标与下游分割性能相关性显著提高（与AJI+相关系数r=0.6096，p=0.0122），而原始IS几乎无相关性（r=0.0708，p=0.7944）。微调模型在所有数据集上均优于粗训练模型。

这篇工作的边界或风险在哪里？优点：(1) 提出领域特定的评估指标，解决通用指标在病理图像上的判别力不足问题；(2) 两阶段训练策略系统性地生成不同质量水平的合成数据；(3) 建立了合成数据质量与下游任务性能的关联分析框架。缺点：(1) 相关性分析基于有限数据集，泛化…

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★★☆

提出使用病理学预训练基础模型（UNI、Virchow、Virchow2）替代ImageNet预训练的InceptionV3来改进FID和IS评估指标，并采用两阶段训练策略生成不同质量水平的合成病理图像，以建立合成数据质量与下游分割任务性能…

实验合理度：★★★★☆

FID、IS、SSIM、PSNR、Precision、Recall、DICE、AJI+

学术研究价值：★★★★☆

提出使用病理学预训练基础模型（UNI、Virchow、Virchow2）替代ImageNet预训练的InceptionV3来改进FID和IS评估指标，并采用两阶段训练策略生成不同质量水平的合成病理图…

稳定性：★★★☆☆

现有材料未提供充分的极端条件、重复运行或扰动测试，稳定性暂按中性评价。

适应性以及泛化能力：★★★☆☆

现有材料未完整展示跨数据集、跨场景或分布外实验，泛化能力仍需进一步验证。

硬件需求及成本：★★★☆☆

未明确报告具体计算量，使用标准DDPM训练设置，初始学习率0.0001，微调阶段学习率0.00002。

复现难度：★★★☆☆

现有材料未确认完整代码、配置、数据处理脚本和权重是否齐备，复现难度暂按中性评价。

产品化成熟度：★★★☆☆

论文验证以研究实验为主，真实部署中的时延、成本、维护和异常场景仍需补充验证。

可能的问题：问题；(2) 两阶段训练策略系统性地生成不同质量水平的合成数据；(3) 建立了合成数据质量与下游任务性能的关联分析框架。缺点：(1) 相关性分析基于有限数据集，泛化性需进一步验证；(2) 病理学基础模型特征提取计算开销较大；(3) 未与其他生成模型（如GAN）进行系统对比。

主要参考文献

[1] Kahaki S, Li S, Chen W, et al. Assessment of Conditional Diffusion Model for Synthetic Histopathology Image Generation[J]. arXiv preprint arXiv:2608.03990v1, 2026.

[2] Heusel M, Ramsauer H, Unterthiner T, et al. GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium[C]//NeurIPS, 2017.

[3] Salimans T, Goodfellow I, Zaremba W, et al. Improved Techniques for Training GANs[C]//NeurIPS, 2016.

[4] Ho J, Jain A, Abbeel P. Denoising Diffusion Probabilistic Models[C]//NeurIPS, 2020.

[5] Graham S, Vu Q D, Raza S E A, et al. HoVer-Net: Simultaneous Segmentation and Classification of Nuclei in Multi-Tissue Histology Images[J]. Medical Image Analysis, 2019.

[6] Chen R J, Ding T, Lu M Y, et al. Towards a General-Purpose Foundation Model for Computational Pathology[J]. Nature Medicine, 2024.

[7] Vorontsov E, Bozkurt A, Casson A, et al. Virchow: A Million-Slide Digital Pathology Foundation Model[J]. arXiv preprint arXiv:2309.07778, 2023.

[8] Park T, Liu M Y, Wang T C, et al. Semantic Image Synthesis with Spatially-Adaptive Normalization[C]//CVPR, 2019.

*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～ 想了解更多原文细节的小伙伴，可以点击"阅读原文"，查看更多原论文细节哦！       

合成数据评估有门道，通用指标会骗人，病理专用模型才是真香！欢迎加入龙哥读论文粉丝群，扫描下方二维码或者添加龙哥助手微信号加群：kangjinlonghelper。一定要备注：研究方向+地点+学校/公司+昵称（如 图像处理+上海+清华+龙哥），根据格式备注，可更快被通过且邀请进群。
『龙哥读论文』微信群目前包含：图像处理、大模型及智能体、自动驾驶及机器人、AI医疗及AI金融5个群，AI医疗群等你来聊病理图像那些事儿～