550维难题也扛得住！扩散模型跨界当MCMC，冷启动一两轮直达平衡

想象一个采样问题：目标分布不是温柔的单峰山丘，而是几十个彼此隔得很远的山窝窝。传统MCMC里的局部采样器，比如MALA，擅长在单个山窝里来回转悠，但要翻过能量壁垒去另一个山窝，那就难了。壁垒越高，跨过去需要的时间越长，甚至长到地老天荒。这是统计物理、贝叶斯推断里最让人挠头的问题之一：分布又多峰、又高维、又只能算到未归一化的密度。😏

扩散模型这个时候冲了出来。大家熟悉的是它的生成能力：把纯噪声一步步去噪成图像。可这篇论文偏不按套路出牌。作者发现一件事——如果真有一个理想去噪器，那么"加噪→去噪"这个操作本身就会让目标分布保持不变。换句话说，理想扩散模型的单步去噪，天然就是一个保持目标分布不变的马尔可夫转移核。沿着这个思路往下走，只需要加一个Metropolis-Hastings校正，就能把任何不够完美的去噪器也变成严格精确的MCMC采样器。于是就有了DDMC，Denoising Diffusion Monte Carlo，去噪扩散蒙特卡洛。

论文开篇那句话说得相当直接："Ideal diffusion model is already an MCMC sampler"。扩散模型天生就是MCMC采样器。这句话翻译过来就是：别再纠结造新模型了，把标准去噪扩散模型单独拎出来，它已经具备全局采样的底子。真正要解决的是工程问题——模型不够理想怎么办，训练数据从哪来，接受率怎么保证。

为什么局部采样器会卡死

先把背景补齐。从一个只知道未归一化密度的目标分布q里采样，这是贝叶斯后验推断和统计物理模拟的地基。目标分布的归一化常数算不出来，但能算任意一点的未归一化密度以及梯度。MALA这类局部采样器每步只做一次带噪的梯度上升，然后经过Metropolis-Hastings校正保证最终收敛到正确的目标分布。

MALA的问题肉眼可见：它的步长被限制在目标分布局部最窄尺度的附近。每走一步的距离，相对于两个远距离模式之间的间隔来说微不足道。想跨越两个模式之间的低密度荒漠，只能靠无数次微小步长慢慢漂移，期望时间随势垒高度指数增长。Hamiltonian Monte Carlo和NUTS这类方法能改进局部探索效率，但轨迹依然沿着能量面走，跨越不了低密度区域，面对多峰分布仍然是束手无策。

扩散模型能补上的正是这块短板。把噪声尺度拉大之后，加噪过程会给状态带来可观的扰动，一条从某个模式出发的加噪路径，很可能把顶端状态推到另一个模式的引力范围里。关键在于从顶端往下走的时候，能不能通过去噪器找到另一个模式的入口。一旦这条路走通，跨模式移动就不再依赖漫长的小步漂移，而是变成一步到位的"直升机式跳转"。

DDMC的三层结构

DDMC的结构可以拆成三块。第一块是路径级全局提议：从当前状态出发，按离散时间SDE的加噪过程一路升噪到顶端的最大噪声水平，再从顶端用训练好的去噪器构造反向高斯核一路降噪回来。降噪回来的终点就是一个全局提议。第二块是MH校正：把整条前向路径和反向路径的联合密度都算出来，套进标准MH接受率公式，决定接受还是拒绝。第三块是局部MALA细化：不管路径提议有没有被接受，每一轮都插入若干步MALA，让链子始终在去噪器熟悉的区域里打转。

这套复合核的漂亮之处在于它的优雅降级。如果扩散模型完全没学到东西，路径提议永远被拒绝，DDMC就退化成纯MALA，不会爆掉。如果模型学得足够好，路径提议以较高概率被接受，链子就能在不同的模式之间来回穿梭。更重要的是，无论模型好坏，只要接受率大于零，整条链的平稳分布都严格等于目标分布q。模型误差不产生偏差，只牺牲效率，这是MH校正带来的核心保证。

路径提议的接受率里藏着两个相互较劲的项。一项是目标密度项δq，比较提议终点和当前起点谁的目标密度更高；另一项是路径项δpath，衡量前向过程和反向过程相互解释的程度。如果模型训练得不够好，反向路径就解释不了真实前向路径，δpath会拖累总接受率。如果只靠δq驱动，链子又容易一头扎进高密度区域然后冻住。只有两项平衡得好，链子才能在整个能量谱上自由移动。

方法论上最反常的选择是训练数据来源。既然目标分布本身就能当数据生成器用，那最省事的办法就是直接从目标分布里抽样来训练去噪器。

扩散模型也能做精确MCMC采样？DDMC框架的诞生

从理想扩散到精确采样：MH校正如何保证无偏性

龙迷三问

龙哥点评

主要参考文献

扩散模型造“直升机”，MALA当“登山杖”，冷启动也能一步跨过千重山。想围观这套全局采样新姿势？欢迎加入龙哥读论文粉丝群，扫描下方二维码或者添加龙哥助手微信号加群：kangjinlonghelper。一定要备注：研究方向+地点+学校/公司+昵称（如 图像处理+上海+清华+御龙），根据格式备注，可更快被通过且邀请进群。