15张TEM图也能训出SOTA扩散模型？imec新作把合成图做真了

这篇工作把“数据不够”这件事，硬生生掰成了“先切块、再渐进长大、最后整图开画”的扩散生成流程。更有意思的是，它不只会造图，还顺手把中间特征拿去做分割，属于一套模型干两份活。😀

龙哥读论文发布于 2026-08-29 00:20:07 阅读 4 查看原文

#AI科研 #图像生成 #AI应用

🐉 龙哥读论文知识星球来了！
公众号每日8篇拆解不够看？星球无上限更AI领域论文、资讯、招聘、招博、开源代码，一站式干货，每日2分钟刷完即赚！
👇扫码加入「龙哥读论文」知识星球，前沿干货、实用资源一站式拿捏～ xingqiu_header

龙哥推荐理由：这篇工作把“数据不够”这件事，硬生生掰成了“先切块、再渐进长大、最后整图开画”的扩散生成流程。更有意思的是，它不只会造图，还顺手把中间特征拿去做分割，属于一套模型干两份活。😀

原论文信息如下：

论文标题:
High-Fidelity Synthetic Transmission Electron Microscopy Image Generation Using Diffusion Probabilistic Models for Data-Limited Semiconductor Metrology 发表日期:
2026年06月发表单位:
Chemnitz University of Technology; imec 原文链接:
https://arxiv.org/pdf/2606.24817v1.pdf

引言：半导体计量领域的“数据饥荒”

半导体工艺越往先进节点冲，计量和缺陷分析就越像在“显微镜里做侦探”。问题是，TEM（Transmission Electron Microscopy，透射电子显微镜）虽然看得够细，但样品制备破坏性强、拍摄慢、设备贵，真正能拿来训练模型的数据少得可怜。于是，半导体领域常见的一幕就出现了：任务很硬核，数据很骨感，模型很饥饿。

这篇工作就瞄准了这个痛点：既然真实 TEM 图像难采、难标、难扩，那么能不能用生成模型“补货”？但这里不是随便画几张像样的图就完事了，半导体计量要的是结构真实、噪声真实、统计分布也真实。不然图看着像，拿去训练分割、缺陷检测、工艺分析时就会露馅，属于“面子工程”而不是“工程面子”。

封面图：原始与合成 TEM 图像对比，直观展示生成结果的“以假乱真”能力。

方法：从 15 张图中“变”出无限 TEM 图像

本论文的核心思路可以概括成一句话：先切块，再渐进长大，最后拼成整图。作者用的是DDPM（Denoising Diffusion Probabilistic Model，去噪扩散概率模型），也就是那种先把图像慢慢加噪，再一步步反向去噪“雕”出来的生成模型。比起一口气画图，它更像拿着细砂纸慢慢打磨，虽然慢一点，但细节通常更稳。

图2：所提出的基于补丁的渐进训练与生成流程框架。可以看到，模型不是直接拿整张高分辨率图硬刚，而是从小尺寸 patch 开始训练，逐步升到更大分辨率，再迁移到全视野图像。

这里最关键的设计是渐进式 patch 训练。作者把训练分成 64×64、128×128、256×256、512×512，最后到 1024×1024 的全图阶段。这样做的好处很直接：低分辨率阶段先学会纹理、噪声和局部边缘，高分辨率阶段再补全大结构和空间关系。否则一上来就喂整图，模型很容易被高分辨率和小样本一起“劝退”。

表1：各阶段在 20× 数据增强后的数据规模。可以看出，原始样本只有 15 张，但通过 patch 提取与增强，训练样本量被迅速放大，给扩散模型争取到了“吃饱饭”的机会。

数据增强也不是随便翻转裁剪就结束。论文把 TrivialAugment（一种自动随机增强策略）改造成适合 TEM 的版本，加入了灰度图约束、亮度极值拒绝、重复样本过滤等规则。原因很朴素：TEM 图像不是普通风景照，随便把亮度拉爆或者把结构扭歪，出来的图就会从“高保真”变成“高离谱”。

D. Augmentation Algorithm：增强算法的实际实现逻辑。核心不是“增强越猛越好”，而是要在保留微结构真实性的前提下扩充样本分布。

模型骨架上，作者采用的是带 attention 的 U-Net。U-Net 的好处是编码器负责压缩理解，解码器负责恢复细节，跳连负责把早期的边缘和纹理“快递”回来。为了适配渐进训练，论文还设计了跨分辨率的权重迁移：前一阶段训练好的参数直接带到下一阶段，部分编码器层先冻结一半迭代，再逐步放开。这个操作有点像先让老员工带新人，别一上来就全员重构，容易把学到的纹理知识搞丢。

表6：渐进训练所用的 U-Net 结构。它的设计重点不是花哨，而是保证不同分辨率阶段之间能无缝继承参数。

训练目标上，论文没有沿用最原始的噪声预测，而是用了 v-prediction。这里的 v 是 velocity，中文可以理解为“速度参数化”。它和噪声预测相比，通常更稳一些，尤其配合 minSNR-γ 这种按信噪比重加权的损失方式时，能避免低噪声时刻把训练目标“霸占”掉。论文里 γ 取 5，本质上就是让不同扩散步的贡献更均衡，别让模型只会某几个阶段的去噪。

图9：前向与反向扩散过程框架，改编自文献 [4]。前向过程负责加噪，反向过程负责把噪声一点点“擦回”图像。

为了让结果更适合半导体计量，论文还加了三个很实用的扩展功能。第一是domain transfer（域迁移）：把一张外部图像先加一点噪声，再用训练好的扩散模型反向去噪，就能把它“翻译”成目标数据域的风格，同时保留原结构。第二是classifier guidance（分类器引导）：通过外部分类器的梯度，把生成过程往指定类别上推。第三是 RePaint-style inpainting，也就是一种扩散式修补/补全方法，适合做图像扩展和局部重建。

实验结果分析：为什么它能 work

这篇论文的实验设计总体上是比较“讲理”的：先用最难的场景——仅 15 张真实 TEM 图——测试模型能不能从零起步；再把结果放在 DEVICE-TEM 和 NANO-TEM 两个数据集上比较；最后还补了噪声统计、专家主观判断、域迁移、引导生成和分割特征复用。这样一套组合拳，既看“像不像”，也看“能不能用”。

从方法逻辑上看，渐进式 patch 训练非常适合这类数据稀缺任务。因为 TEM 图像里既有局部纹理，也有跨区域的结构关系，直接缩成小图容易丢大结构，直接用大图又会被样本数和显存双重卡脖子。先学局部，再学全局，等于让模型按“由简到难”的节奏补课，训练稳定性自然更好。

图5：(a) 最近邻 DEVICE-TEM 样本的 MS-SSIM 分布；(b) 相似度随采样步数变化。这个图很关键，它说明生成质量不是靠“硬抄原图”堆出来的，而是在某个采样阶段达到较好平衡。

另一个值得点头的地方是，论文没有只盯着单一指标。TEM 生成如果只看 PSNR 或 SSIM，可能会把“过度平滑”的图误判成好图；只看 FID，又可能忽略微结构是否符合工艺语义。所以作者同时看了 MS-SSIM、SSIM、LPIPS、FID、KID，再补充噪声标准差、SNR 和 HFNR，这样才能兼顾结构、感知和分布。说白了，就是别让指标互相打架。

图1：DEVICE-TEM 结构以及 NANO-TEM 的不同成像模式。这个图帮助理解两类数据的难度差异：前者视野更大、结构更复杂，后者分辨率更高、细节更“硬核”。

从结果趋势看，DEVICE-TEM 上的表现明显更好，NANO-TEM 更难。这个结论很合理，因为原子尺度结构的高频信息更强，生成时要同时兼顾周期性、边界、噪声和局部不规则性，难度自然更高。也正因为如此，NANO-TEM 上的相似度指标虽然没有 DEVICE-TEM 那么漂亮，但在分布级指标上依然优于对照方法，说明模型学到的不是“糊成一团”的平均脸，而是比较像真的数据分布。

实验结果：真假难辨，指标全面领先

先看最核心的视觉结果。论文给出的对比图显示，生成样本在结构布局、边缘形态和噪声质感上都比较接近真实 TEM 图像，尤其是 DEVICE-TEM 场景下，合成图已经很难靠肉眼一眼分出真假。五位领域专家在非盲测、无顺序展示中也没能稳定识别出合成样本，这说明模型已经不是“看着像”，而是进入了“得仔细瞅”的阶段。

图3：原始图像、DCGAN、MS-SSIM VAE、基线 DDPM 与本文方法的对比。最直观的结论是：DCGAN 容易模式坍塌，VAE 容易过平滑，本文方法在细节和整体结构之间取得了更好的平衡。

图4：DEVICE-TEM 与 NANO-TEM 的原始图像和合成图像对比。这里能看出，设备级结构更容易被保真复现，而纳米尺度结构对高频细节要求更苛刻。

表2：DEVICE-TEM 合成图像的结构相似性指标。本文方法在 MS-SSIM、SSIM、PSNR、MSE、LPIPS 等指标上整体领先，说明生成结果既像原图，又没有简单复制。

表3：NANO-TEM 合成图像的结构相似性指标。这里的难度更高，但本文方法依然在分布级指标上保持优势，说明模型没有被高频细节彻底难住。

如果只看结构相似度，DEVICE-TEM 的最佳近邻样本上，本文方法的 MS-SSIM 和 SSIM 都高于基线 DDPM、VAE 和 DCGAN；NANO-TEM 上同样如此，只是整体数值更低，符合任务难度上升的预期。换句话说，模型在“稍微容易一点”的设备级结构上表现更稳，在“更接近原子尺度”的场景下也没有崩盘，这已经很难得。

表4：DEVICE-TEM 合成图像的数据集级噪声指标。这里关注的是噪声标准差、信噪比和高频噪声比，目的是检查生成图有没有把真实成像噪声“顺手洗掉”。

表5：NANO-TEM 合成图像的数据集级噪声指标。与真实图像相比，本文方法在噪声分布上保持了较好的接近性，但也出现了轻微去噪，这对部分下游任务可能是利好，对严格的物理一致性任务则需要额外留意。

噪声结果很有意思。DEVICE-TEM 上，本文方法的噪声标准差略低于真实图像，SNR 略高，HFNR 基本贴近真实分布；NANO-TEM 上也有类似趋势。这个现象说明扩散模型在生成时会带来一点“温柔的降噪”，不会把噪声原封不动复刻出来，但噪声的频谱结构没有明显跑偏。对于缺陷检测、层边界分割这类任务，这种轻微去噪未必是坏事，因为能让模型更容易抓住结构；但如果是要做严格成像仿真，那就得更谨慎。

图13：原始图像与合成 NANO-TEM、DEVICE-TEM 图像。这个图更像是“总览版证据”，说明模型在不同数据域里都能维持较高的一致性。

拓展功能：从生成到分割，一模型多用

这篇工作最有趣的地方之一，是它没有把扩散模型只当“造图机”。作者还尝试把 DDPM 中间层的特征拿来做无监督分割：简单说，就是模型在生成图像的过程中，顺手学到了一些“哪里像一类结构”的线索，然后把 encoder feature maps 切分成区域 mask。这个思路很像边做饭边洗碗，效率虽然不优雅，但结果挺实用。😀

图8：基于强度与训练后 DDPM 编码器特征的分区结果对比。相比只靠像素强度，扩散模型的中间特征更容易把同一结构区域聚到一起，分割轮廓也更连贯。

为什么这种特征能用于分割？因为扩散模型在去噪时，不只是在“补像素”，还在学习图像的层次结构：低层学纹理，中层学局部几何，高层学全局布局。于是它的 encoder 特征天然带着一些语义聚类能力。对于半导体 TEM 这种目标结构相对明确的场景，这种能力很适合做分割初始化或区域提议，后面再让人工或轻量模型微调一下，就能省不少标注成本。

图7：分类器引导与修补重建示意。引导强度变大时，类别一致性会更强，但多样性可能下降；修补功能则适合局部补全和图像扩展。

域迁移和分类器引导也很实用。域迁移可以把来自不同成像条件的输入图像，转换到目标域的统计风格里；分类器引导则能让生成结果偏向某个指定类别。对于工业场景来说，这意味着模型不只是“会画”，还可以“按要求画”。不过论文也很诚实地提到，这些能力的全面有效性仍需要更大规模实验验证，不能只靠 demo 就宣布天下无敌。

局限性分析：原子尺度细节与计算成本

这篇论文做得不错，但也不是“从此 TEM 数据自由了”。首先，NANO-TEM 的原子尺度细节仍然更难复现，说明模型对高频周期结构的掌握还不够稳定。其次，扩散模型训练成本不低，尤其是 1024×1024 的最后阶段，论文里已经明确提到显存和迭代时间都很吃紧。换句话说，效果是上来了，算力账单也跟着上来了。

另外，当前结果主要是基于有限数据集和特定成像模式验证的，跨设备、跨工艺、跨样品类型的泛化能力还需要更系统的测试。尤其是半导体计量场景里，图像不仅要“像”，还要和真实物理过程、成像参数、噪声统计保持一致，这一点不能只看主观视觉印象。

图6：不同扩散步数下的域迁移结果。步数越大，目标域风格越强，但原始结构保留会逐渐减少，这也是迁移和保真的经典拉扯。

所以，这项工作的真正价值不在于“生成图已经完美”，而在于它证明了：即使数据少到近乎寒酸，扩散模型依然可以通过合适的训练策略、增强方式和结构约束，在专业工业图像上学到可用的生成规律。对半导体计量来说，这已经很有现实意义了。

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：

这篇论文解决什么问题？它解决的是半导体 TEM 数据太少、太贵、太难标注的问题。作者希望用扩散模型生成高保真的合成 TEM 图像，给缺陷检测、分割和计量分析提供更多训练数据。

文中的 DDPM、MS-SSIM、LPIPS 是什么意思？DDPM 是去噪扩散概率模型，负责逐步生成图像；MS-SSIM 是多尺度结构相似性指标，主要看结构像不像；LPIPS 是学习到的感知相似度指标，主要看视觉感受像不像。它们分别从结构、感知和生成机制三个角度评估结果。

为什么还要做分割、域迁移和引导生成？因为这篇论文不只是想“造图”，还想证明扩散模型学到的中间特征有复用价值。分割能减少人工标注，域迁移能适配不同成像条件，引导生成则能控制输出类别，都是面向实际应用的扩展能力。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★★☆。把扩散模型用到 TEM 合成上并不算完全空白，但“渐进式 patch 训练 + 域迁移 + 引导 + 修补 + 分割复用”这一整套组合，确实做得比较完整。

实验合理度：★★★★☆。对比方法、结构指标、噪声指标、专家判断都安排上了，比较全面；不过主观专家评估仍偏非正式，后续若有更严格的盲测会更扎实。

学术研究价值：★★★★☆。对数据稀缺的工业显微成像非常有启发，尤其对半导体计量这种“贵数据”场景，研究价值明确。

稳定性：★★★☆☆。扩散模型本身比 GAN 更稳，但高分辨率训练成本高，且原子尺度细节仍存在挑战，离“随手上线”还有距离。

适应性以及泛化能力：★★★☆☆。在当前两个 TEM 数据集上效果不错，但跨设备、跨工艺、跨样品的泛化还需要更大规模验证。

硬件需求及成本：★★☆☆☆。最后阶段显存和时间开销都不小，训练成本明显偏高，属于“效果好但不省电”的路线。

复现难度：★★★☆☆。方法描述较细，训练策略也写得比较清楚，但数据门槛高，完整复现仍需要一定算力和领域数据。

产品化成熟度：★★★☆☆。作为合成数据和辅助分割工具有潜力，但要进工业流程，还得补充更严格的物理一致性验证。

可能的问题：原子尺度细节和跨域泛化仍是短板，训练成本也不低。论文很会“造”，但离大规模稳定部署还差一口气。

主要参考文献

[1] 论文原文：High-Fidelity Synthetic Transmission Electron Microscopy Image Generation Using Diffusion Probabilistic Models for Data-Limited Semiconductor Metrology. arXiv:2606.24817v1.

[2] DDPM：Denoising Diffusion Probabilistic Models，去噪扩散概率模型。

[3] MS-SSIM、LPIPS、FID、KID 等评价指标相关原始论文，见正文引用说明。

[4] 论文中引用的扩散模型、v-prediction、minSNR-γ、classifier guidance、RePaint 等方法来源，见原文参考文献列表。

TEM图像太贵、太少、太难采？来「龙哥读论文」星球，扩散模型、半导体计量、图像分割一锅端，少走弯路，多看干货。

欢迎加入龙哥读论文粉丝群，扫描下方二维码或者添加龙哥助手微信号加群：kangjinlonghelper。一定要备注：研究方向+地点+学校/公司+昵称（如图像处理+上海+清华+龙哥），根据格式备注，可更快被通过且邀请进群。
『龙哥读论文』微信群目前包含：图像处理、大模型及智能体、自动驾驶及机器人、AI医疗及AI金融5个群
wechat_helper