← 返回 PaperDaily 视觉与图像

CGMT竟能推回AMP？这篇最新论文把两大理论打通了

这篇论文最有意思的地方，不是又造了一个新算法，而是把两套“看起来不搭边”的理论硬接上了。AMP负责迭代求解，CGMT负责静态刻画，作者直接证明它们在高维高斯回归里能对上号。

龙哥读论文 阅读 2 查看原文
#人工智能 #AI科研
CGMT竟能推回AMP？这篇最新论文把两大理论打通了
🐉 龙哥读论文知识星球来了！
公众号每日8篇拆解不够看？星球无上限更AI领域论文、资讯、招聘、招博、开源代码，一站式干货，每日2分钟刷完即赚！ 👇扫码加入「龙哥读论文」知识星球，前沿干货、实用资源一站式拿捏～ xingqiu_header

龙哥推荐理由：
这篇论文最有意思的地方，不是又造了一个新算法，而是把两套“看起来不搭边”的理论硬接上了。AMP负责迭代求解，CGMT负责静态刻画，作者直接证明它们在高维高斯回归里能对上号。


原论文信息如下：
论文标题:
Deriving Approximate Message Passing from the Convex Gaussian Min–Max Theorem 发表日期:
2026年06月 发表单位:
没有 原文链接:
https://arxiv.org/pdf/2606.27769v1.pdf

引言

高维统计里有两套经典工具，AMP和CGMT。前者像“会跑的算法”，后者像“会算的定理”，大家都能把高维回归、压缩感知这些问题算得很准，但它们平时各说各话，关系一直有点像两位高手住在同一条街，却没正式打过招呼。
这篇论文干的事很直接：不再只说“它们最后算出来差不多”，而是把AMP 的固定点方程从 CGMT 的鞍点条件里硬推出来，还顺手解释了 Onsager 修正项为什么会冒出来。对做高维统计、压缩感知、稀疏回归的人来说，这不是小修小补，而是把两套语言翻译成了同一本字典。

方法概述

论文先从最常见的带高斯设计矩阵的正则化线性回归下手。给定观测 y = Ax0 + w，想从少量测量里把原信号 x0 还原出来。麻烦在于，当维度和样本数一起长大时，传统优化方法虽然稳，但不够“懂随机矩阵的脾气”；AMP 则很快，但它的 Onsager 修正看起来像魔法咒语。
作者的思路是：先把原问题写成 CGMT 的主优化和辅助优化，再看当两边的最优解“对上号”时，辅助优化里的高斯向量和站立条件会长成什么样。结果发现，CGMT 不只是给出一个静态极限值，它的鞍点结构本身就能吐出 AMP 的递推式。换句话说，AMP 不是凭空拍脑袋拍出来的，而是从 CGMT 的几何结构里长出来的。
图1：论文开头的知识星球引导图

CGMT与AMP：高维统计的两座孤岛如何相连？

CGMT和AMP之所以常被并列提起，是因为它们经常给出同一批极限方程，但出发点完全不同。CGMT像是在做“静态剖面图”，关心优化问题最后长什么样；AMP像是在做“动态追踪”，关心迭代一步步怎么走。以前两者之间更多是“结果相似”，这篇论文则试图把中间那道墙拆掉。
论文的核心判断非常明确：如果 CGMT 的辅助优化和主优化在最优解上匹配，那么辅助优化里的高斯向量、KKT 条件和标量鞍点，实际上会自然对应到 AMP 的输入通道、残差通道和 Onsager 修正。这个观点的杀伤力在于，它把“AMP 为什么长这样”从经验解释，推进到了可从凸优化理论直接导出的层面。

一个关键假设下的等价性证明

这篇文章的主线并不花哨，甚至有点“理工男式执拗”：先假设 AO 和 PO 在最优解上选中了同一个点，再假设正则项在这个点上能选到同一个次梯度，然后对 KKT 条件逐项对照。听起来很硬，但这正是理论论文最值钱的地方——不是靠感觉猜，而是把每一项都摁在桌上对账。
图2：论文结尾推广图
图2：论文结尾推广图
在这个对照过程中，论文把 CGMT 标量鞍点里的参数和 AMP 里的几个关键量一一对应起来。最重要的结论是：Onsager 系数不是额外发明的补丁，而是鞍点条件自然给出的结果。这就解释了为什么 AMP 的修正项看起来“玄”，但又总是恰到好处。

不仅仅是AMP：向GAMP的推广

论文没有停在平方损失的线性回归上，而是继续把视角扩展到一般的输出损失，也就是更接近真实业务的 M-estimation 场景。这样一来，原来熟悉的 AMP 递推会变成更一般的GAMP 固定点，输入侧和输出侧都出现了相应的近端映射与标量方差更新。
这部分的价值在于，它说明这套“从 CGMT 推 AMP”的逻辑并不是只对最干净的二次损失有效，而是可以覆盖更广的凸损失族。说白了，作者想表达的是：CGMT 不是只会算一个特例，它有机会成为一类 AMP 风格算法的理论母体。这个判断很大胆，但也很有工程味道——如果以后某些问题标准 AMP 不好直接写，CGMT 说不定能先把路铺出来。

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：

这篇论文最重要的贡献是什么？不是再造一个 AMP，而是说明 AMP 的固定点和 Onsager 修正可以从 CGMT 的鞍点结构里直接读出来。这个连接一旦成立，两套理论就不再是平行宇宙了。

它对做算法的人有什么用？它提供了一条新的“算法生成路线”：当标准 AMP 的推导不好用时，可以先看问题能否放进 CGMT 框架，再从鞍点和 KKT 结构里找 AMP 风格迭代的影子。

这篇工作有没有边界？有。文中的关键等价性建立在高斯设计、比例高维极限，以及 AO/PO 最优解匹配等假设上，严格性和一般性都还有空间，离“拿来就能套所有问题”还差得远。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★★☆。把 CGMT 和 AMP 的关系从“结果一致”推进到“结构可导出”，这个角度很漂亮。

实验合理度：★★★☆☆。理论论文，主要看推导链条是否闭合，不靠大规模实验。

学术研究价值：★★★★★。一旦这条连接站住脚，对高维统计、压缩感知和相关迭代算法的理解都会更统一。

稳定性：★★★☆☆。结论依赖高斯设计和匹配假设，理论边界清楚。

适应性以及泛化能力：★★★★☆。从平方损失扩展到一般输出损失，说明这条思路不止适用于最简单的线性回归。

硬件需求及成本：★★★★★。纯理论推导，几乎没有硬件成本。

复现难度：★★★☆☆。公式长、符号多、假设细，但逻辑链条是清楚的。

产品化成熟度：★★☆☆☆。短期内更像理论工具箱，不是可以直接上线的产品方案。

可能的问题：关键假设比较强，尤其是 AO/PO 最优解匹配这一条，现实问题里未必总能自然成立。


主要参考文献

D. L. Donoho, A. Maleki, and A. Montanari, “Message-passing algorithms for compressed sensing,” Proceedings of the National Academy of Sciences, vol. 106, no. 45, pp. 18914–18919, 2009.
M. Bayati and A. Montanari, “The dynamics of message passing on dense graphs, with applications to compressed sensing,” IEEE Transactions on Information Theory, vol. 57, no. 2, pp. 764–785, Feb. 2011.
M. Bayati and A. Montanari, “The LASSO risk for Gaussian matrices,” IEEE Transactions on Information Theory, vol. 58, no. 4, pp. 1997–2017, Apr. 2012.
C. Thrampoulidis, E. Abbasi, and B. Hassibi, “Precise error analysis of regularized M-estimators in high dimensions,” IEEE Transactions on Information Theory, vol. 64, no. 8, pp. 5592–5628, Aug. 2018.
S. Rangan, “Generalized approximate message passing for estimation with random linear mixing,” in Proceedings of the IEEE International Symposium on Information Theory, 2011, pp. 2168–2172.
R. Berthier, A. Montanari, and P.-M. Nguyen, “State evolution for approximate message passing with non-separable functions,” Information and Inference, vol. 9, no. 1, pp. 33–79, Mar. 2020.
C. Thrampoulidis, S. Oymak, and B. Hassibi, “Regularized linear regression: A precise analysis of the estimation error,” in Proceedings of the 28th Conference on Learning Theory, 2015, pp. 1683–1709.

这篇论文最有意思的地方，不是又造了一个新算法，而是把两套“看起来不搭边”的理论硬接上了。想继续看这种高维统计、AMP、CGMT、LASSO的硬核拆解，欢迎来龙哥读论文星球，一起少走弯路，多看门道。👇

end
欢迎加入龙哥读论文粉丝群，扫描下方二维码或者添加龙哥助手微信号加群：kangjinlonghelper。一定要备注：研究方向+地点+学校/公司+昵称（如 图像处理+上海+清华+龙哥），根据格式备注，可更快被通过且邀请进群。
『龙哥读论文』微信群目前包含：图像处理、大模型及智能体、自动驾驶及机器人、AI医疗及AI金融5个群
wechat_helper dianzan
转发文章 微博 X LinkedIn Facebook
龙哥读论文 · PaperDaily

本文基于龙哥读论文 PaperDaily 数据库整理，结合论文原文与工程视角进行解读。