标题：How Does Parameter Pruning Reshape 深度神经网络（DNN） Representations? An Interaction-Driven Exploration
首次公开时间：2026年9月6日
署名单位：上海交通大学
龙哥导读：剪枝最容易被误解成“把不重要的参数删掉”。真正困难的问题是：模型为什么在删掉很多参数后还能工作，却在某个拐点突然失灵？上海交通大学团队没有只盯着权重大小，而是追踪神经网络内部的“交互模式”。他们在 8 个图像分类模型和 4 个大语言模型上观察到一个很有用的规律：前期剪掉的往往是可被其他模式抵消的复杂组合，性能真正开始掉下去，常常发生在承载稳定泛化能力的低阶交互被大量移除之后。
一、剪枝为什么不是“删得越多越省事”
神经网络的参数很多，但参数多并不等于每一个参数都同样重要。剪枝的目标，是删除一部分权重、通道或结构，让模型更小、更快、更省显存，同时尽可能保持原来的识别和生成能力。工程上常见的做法，是给参数打分：权重绝对值小，就认为它可能不重要；梯度影响小，就暂时删掉；某个通道对输出贡献小，就把整个通道移除。
这种思路很实用，却容易把“单个参数的作用”和“多个参数一起形成的作用”混在一起。一个参数单独看可能很小，但它可能参与了一个关键组合；另一个参数数值很大，却可能只是和周围大量相似的模式重复。删掉参数以后，模型表面上少了计算，但内部用于区分样本的组织方式也可能已经改变。
论文研究的核心问题因此变成了：剪枝到底删除了哪些表征？性能下降之前，网络内部发生了什么？能不能找到比“删了多少百分比”更接近模型能力的诊断信号？作者把答案放在输入变量之间的交互上，而不是只看单个权重。
二、把复杂预测拆成一组交互模式
先用一个简单例子理解交互。假设模型判断一张图片是不是“船”。它可能分别看到了水面、船身和桅杆，也可能只在“水面与船身同时出现”时才形成强判断。前一种更像单个变量的作用，后一种就是组合关系。深度网络中的预测通常由大量不同阶数的组合共同构成。
论文采用的分析框架把模型输出写成不同输入变量子集的交互之和。用 \(v(S)\) 表示只观察变量集合 \(S\) 时的模型响应，用 \(I(S)\) 表示集合 \(S\) 对预测的独立交互贡献，那么可以把一次预测理解为：
这里的 \(N\) 是全部输入变量，\(S\) 是其中一个子集，\(I(S)\) 不是某个参数的原始数值，而是这组变量共同出现时带来的额外贡献。一个变量单独有作用，属于一阶交互；两个变量配合产生额外作用，属于二阶交互；更多变量共同参与，则形成更高阶交互。公式的直觉很简单：把模型最后做出的判断，拆成许多可追踪的“单点作用”和“组合关系”。
实际计算时，作者使用输入分块、采样和归因近似来估计这些交互，而不是穷举所有变量组合。这样做的好处是能够观察剪枝前后交互保留了多少；代价是分析本身并不便宜，也不能把每个交互值理解成绝对的因果证明。
图1(a)：图中不同区域代表不同输入变量组合，重点不是某一个参数，而是变量共同出现时形成的模式。
这一步是全文的关键转换。若只看参数数量，剪枝率从百分之十到百分之二十只是多删了一倍；若看交互，则可以继续追问：删掉的是高阶细节、重复关系，还是对很多样本都稳定有用的低阶结构？两种“删了同样多参数”的剪枝，可能因此产生完全不同的结果。
三、剪枝过程其实有三个阶段
作者先在一个常用图像分类数据集上研究残差网络56层模型和VGG十九层网络，并逐步提高剪枝比例。实验没有把剪枝只设成一个终点，而是像做压力测试一样，沿着从轻到重的路径观察精度、交互保留率和交互抵消关系如何一起变化。
图1(b)：浅色区域表示被移除的交互，深色区域表示仍被保留的交互。被删掉并不自动等于能力损失，关键要看它是否有其他交互补偿。
第一阶段是稳定区。此时删除的交互较多来自高阶组合，或者是可以由其他模式补偿的部分。参数量已经下降，但测试精度没有明显变化。第二阶段是转折区。剪枝进一步加深后，低阶交互的保留比例快速下降，精度也开始明显下滑。第三阶段是失效区，网络连能够支撑基本分类的稳定结构也被持续删除，精度接近随机水平。
图1(c)：剪枝率增加不是一条平滑的性能下降曲线，而是存在相对稳定、快速掉点和接近失效的阶段变化。
这里的“抵消”尤其值得注意。一个被删掉的交互如果和另一个交互在预测中方向相反，它们的净影响可能很小；删掉其中一部分，模型未必立刻受损。相反，一个看起来并不显眼、但在很多样本上方向一致的低阶模式，可能是模型泛化的骨架。只用参数幅度排序，很难区分这两种情况。
四、数字结果：真正的拐点在哪里
在残差网络56层模型实验中，剪枝率从 1.2% 提高到 50.2%；在VGG十九层网络中，剪枝率从 3.6% 提高到 99.2%。这两个数字说明，模型对剪枝的耐受度不能简单用一个固定比例概括：不同架构的冗余方式不同，真正重要的是删掉了哪类内部关系。
图4(a)：残差网络56层模型在前期可以承受较多删减；进入转折区后，低阶交互保留率下降，并与精度变化同步。
图4(b)：VGG十九层网络的曲线形状与残差网络56层模型不完全相同，但“保护稳定交互、识别性能拐点”的分析思路仍然成立。
图4左侧关注两个量：低阶交互保留率 \(\rho_{\text{low}}\) 和高阶交互保留率 \(\rho_{\text{high}}\)。保留率可以理解为“剪枝后还剩下多少原有交互”。横轴是剪枝比例，纵轴是对应交互的保留程度。作者将这些曲线和分类准确率放在一起，观察精度开始掉点时，哪一类交互正在大量消失。
图4右侧进一步看抵消比例 \(\kappa\)。它衡量被移除交互中，有多少原本可以被其他模式抵消。若 \(\kappa\) 较高，说明删除的部分可能存在冗余；若抵消关系下降，同时低阶交互也大幅减少，模型就更可能进入不可逆的能力损失区。
图4(c)：抵消比例不是“越高越好”的分数，而是帮助判断被删交互是否具有补偿空间的诊断量。
图4(d)：不同架构的具体曲线不同，论文的结论是机制层面的趋势，而不是一条适用于所有模型的固定阈值。
作者报告的一个重要观察是：当超过五分之四的低阶交互被移除时，分类性能出现显著下降。这个比例不是一个可以直接搬到所有任务的工程规则，但它把“为什么突然掉点”从模糊的经验问题，变成了可以沿曲线检查的问题：是不是已经开始损伤跨样本稳定的基础关系？
五、从两个小模型到十二个网络
如果结论只出现在一个图像分类数据集的两个经典模型中，解释力仍然有限。因此作者把分析扩展到 12 个深度神经网络，包括 8 个图像分类模型和 4 个大语言模型。这个范围覆盖了卷积网络、不同规模的视觉网络以及语言模型，目的不是宣称这些模型的准确率可以直接横向比较，而是看“剪枝改变交互结构”的现象是否跨架构出现。
实验结果支持同一个方向：剪枝初期，模型主要损失的是高阶或可被补偿的交互；随着剪枝加深，低阶交互被持续移除，性能开始进入明显下行区。语言模型和图像分类模型的具体指标、剪枝算法和输入形式并不相同，所以这项工作更像是提出一种分析镜头，而不是给出一张统一的压缩排行榜。
这也解释了为什么本文没有把重点放在“我们比某个方法高了多少个百分点”。它研究的是剪枝后的内部变化，核心问题是模型能力从哪里来、又从哪里开始丢失。对做模型压缩的人来说，这种机制证据可以和现有剪枝算法配合使用，而不是替代所有算法。
六、与两类代表性剪枝工作的关系
第一类代表工作关注结构化剪枝：它自动建立跨层依赖，把需要一起删除的结构组织起来，解决“删掉一个通道后后续层如何保持形状一致”的工程问题。本文不是另一个结构化剪枝工具，重点在于解释已经发生的剪枝会怎样改变模型表征。一个负责“怎么安全地删”，一个帮助回答“删完以后内部丢了什么”，两者可以互补。对应的正式论文链接为：https://openaccess.thecvf.com/content/CVPR2023/html/Fang_DepGraph_Towards_Any_Structural_Pruning_CVPR_2023_paper.html
第二类工作面向大语言模型的一次性剪枝，目标是在不重新训练或少量调整的条件下尽量保留模型效果。本文则把研究重点放到剪枝前后交互模式的变化。两类工作都说明大模型压缩不能只把参数量当作结果，但它们的模型、任务和评价口径不同，不能据此宣称谁的性能更高。对应论文链接为：https://proceedings.mlr.press/v202/frantar23a.html
从研究脉络看，过去的剪枝工作擅长提出重要性分数、结构约束和高效执行方式；这篇论文补上了“表征解释”这一层。它提醒我们，压缩决策不只是一个排序问题，也可能是一个表征保护问题。
七、对实际压缩工作的启发
第一，停止剪枝的信号不应只有剪枝率。工程团队可以把低阶交互保留率、精度曲线和抵消比例放在同一张监控图里，观察性能是否已经进入转折区。这样做不一定能直接给出最优点，但比“经验上删到百分之几就停”更接近模型本身的状态。
第二，剪枝排序可以考虑组合关系。若某一批参数主要参与高阶、重复或可被补偿的交互，可以优先作为候选；若某些结构反复参与稳定的低阶模式，就应该提高保护等级。这里的重点不是把“低阶”机械等同于“永远重要”，而是把它当作需要结合任务验证的证据。
第三，压缩评测需要看更多维度。模型大小和速度很重要，但还应该观察不同样本、不同类别和分布变化下的退化。即使平均准确率没有变化，边缘样本仍可能首先失效；交互分析可以帮助定位这种变化发生在何种内部模式上。
第四，语言模型的结论仍然需要谨慎落地。论文确实覆盖了 4 个大语言模型，但交互估计依赖采样、输入划分和归因近似。把当前分析直接变成在线剪枝开关，可能会带来很高的计算开销，也可能因为提示、任务和层位置不同而得到不同的诊断结果。
这里还可以把“低阶”换成更生活化的理解：它像一座桥上的主梁。桥上可能有很多装饰性的横杆，删掉几根并不会马上影响通行；但主梁一旦连续受损，整体结构就会突然出现问题。高阶交互不一定都是装饰，低阶交互也不一定都不可替代，这个比喻只是帮助我们理解论文所说的稳定关系和冗余关系之间的区别。
在部署流程里，最现实的做法不是每次剪枝都完整计算全部交互，而是先用便宜的代理指标筛出几个候选比例，再对候选点做更细的交互分析。例如先观察验证集精度、层输出变化和稀疏结构，再重点检查接近掉点的区间。这样既保留论文框架的诊断价值，也避免把昂贵的解释计算放到每一个训练和推理步骤中。
论文的阶段性结果还提醒我们，重新训练并不总是能够简单地抹平剪枝造成的结构损失。如果被删除的是大量可泛化的低阶模式，后续微调可能需要重新学习这些关系，成本和数据需求都会增加。相反，如果删除部分主要是高阶冗余或相互抵消的模式，少量校准就可能恢复大部分性能。具体是否如此，仍应由实际任务实验验证。
为什么要同时观察图像模型和语言模型？因为这两个领域对“冗余”的直觉并不完全一样。图像模型可能依赖局部纹理、形状和空间组合；语言模型则依赖词、短语、长距离依赖和上下文关系。若相同的交互变化在两类模型中都能被观察到，说明它可能是神经网络表征的一种更一般的现象；若曲线在不同模型间差异很大，也能帮助我们发现架构特有的压缩规律。
读图时要注意图4的横轴和纵轴分别代表什么。横轴是剪枝比例，不是训练步数；纵向的交互保留率表示相对原模型的变化，准确率则是任务表现。两条曲线靠近或同步下降，只能说明这些量在实验设置下相关。真正的结论来自多个模型、多个剪枝阶段和不同交互统计的共同趋势，而不是某一个点的形状。
论文还给压缩研究带来一个表达上的改变。以前我们容易说“这个通道重要”“那个权重不重要”，但模型最终使用的是层层组合后的输出。参数重要性可以是一个很好的操作工具，交互重要性则更像能力层面的解释工具。前者适合快速执行，后者适合回答为什么某个剪枝比例突然失败，两者不应互相替代。
如果未来把这套分析用于自动化剪枝，系统至少需要保存三个版本的证据：剪枝前的交互基线、每个候选剪枝点的保留与抵消统计、以及真实任务上的退化报告。只有这三类证据放在一起，才能知道一次性能变化究竟来自结构被删、数据分布改变，还是测量误差。单独保留一个“重要性分数”很难支持复盘。
对模型使用者来说，最直接的启发不是马上重写剪枝代码，而是重新检查已有压缩报告：报告是否只写参数量和平均精度？是否展示了不同剪枝强度下的曲线？是否说明了模型在哪个区间开始掉点？是否在语言模型、长尾类别或分布外样本上复核过？这些问题可以帮助判断一项压缩结果是稳健的工程方案，还是只在单一测试集上有效。
对论文作者来说，下一步也很清楚：需要更便宜的交互估计、更强的干预实验，以及在真实硬件上的端到端测量。模型内部表征变简单，并不自动等于显存访问更少、延迟更低；结构稀疏如果没有硬件和编译器支持，也可能只是理论上的参数减少。把交互分析和实际吞吐、能耗、内存峰值连接起来，才能完成从解释到部署的最后一步。
因此，这项工作的价值更像是一张地图。地图告诉我们性能拐点可能位于哪里、哪些内部关系值得保护、哪些删减可能只是去掉重复计算；它并没有替工程师走完整条路。最终的压缩比例仍然取决于模型架构、任务要求、硬件环境、数据安全边界和可接受的精度损失。
八、论文的边界：有解释，不等于有完整因果证明
这篇论文最有价值的地方，是把精度拐点和内部交互变化放在同一条证据链上。但“同步变化”仍然需要和因果实验区分。低阶交互大幅减少时精度下降，说明二者关系稳定，却不能仅凭曲线证明每个低阶交互都是不可替代的原因。剪枝算法、训练配置、采样方式和模型架构可能共同影响观察结果。
此外，交互数量随着变量规模迅速增长，实际分析必须依赖近似。近似方法让研究能够覆盖更多模型，却也意味着不同设置之间的数字不应被过度精确地解读。论文没有给出“低阶交互为何在所有任务中更稳健”的严格数学证明，这正是后续理论工作的空间。
因此，最稳妥的使用方式是把交互分析当作剪枝诊断工具：它可以提示哪里可能已经删过头，再用任务指标、分布外测试和实际延迟验证最终决策。它不能代替部署测量，也不能把一个研究性指标包装成所有模型都适用的固定阈值。
这条边界并不会削弱论文的实用性，反而让它更适合放进一个分阶段的压缩流程。第一步仍然可以使用现有方法快速得到候选模型；第二步用交互统计定位变化最明显的层和剪枝比例；第三步只在这些区域补做更细的测试。这样，解释工具服务于决策，而不是把整个压缩过程变成一次昂贵的可解释性计算。
还要注意“低阶交互”与“低级特征”不是一回事。前者描述的是参与预测的变量数量和组合阶数，后者通常指边缘、颜色或纹理等视觉层次。一个低阶交互可以包含很抽象的语义关系，一个高阶交互也可能只是局部重复。把两个概念混为一谈，会把论文的机制结论错误地简化成“保留低级特征、删除高级特征”。
同样，“高阶”并非没有价值。复杂组合在细粒度分类、代码理解、长上下文推理等任务中可能承担关键作用。论文观察到的是在所选模型和实验条件下，前期剪枝更常移除可补偿的高阶模式；并非所有高阶关系都适合删除。真正的停止条件必须回到任务和数据，而不是回到一个标签。
从方法论上看，本文还有一个值得借鉴的实验习惯：同时画机制指标和任务指标。只画准确率，只能看到“坏了”；只画交互保留率，只能看到“内部变了”。两者叠在同一剪枝进程上，才有机会找到性能变化之前的预警信号。未来也可以加入校准误差、鲁棒性、长尾表现和真实延迟，检查同一个内部拐点是否对应多个用户可感知的指标。
对于大语言模型，交互分析还可能帮助区分不同类型的压缩损失。事实记忆丢失、格式遵循下降、长文本能力退化和推理链变短，不一定在同一批参数或同一类交互上发生。若能把这些行为分别映射到交互变化，就有可能从“整体分数下降”进一步追问“哪种能力先受影响”。目前论文提供的是方向，尚需专门的语言任务实验来验证。
最终，参数剪枝仍是一项多目标优化：模型要足够小，推理要足够快，精度和稳定性要达标，还要适配真实硬件。交互视角解决的是“能力结构如何变化”这一部分。把它和结构化执行、量化、编译优化、设备测量结合起来，才能判断一次剪枝是否真的让用户得到更低的成本，而不是只在论文表格里减少了参数数量。
从读者角度看，论文最值得带走的不是一个神秘的新名词，而是一种排查习惯：看到模型压缩结果时，先问删掉的究竟是什么，再问保留下来的能力由什么支撑。参数数量、浮点运算量和测试精度是结果层指标；交互保留与抵消关系则提供了中间层解释。把两层证据连起来，才能更有把握地判断压缩方案是否适合自己的场景。
如果一个压缩方案只在平均指标上漂亮，却没有说明性能拐点、样本差异和硬件收益，那么它仍然需要更多验证。反过来，一项方法即使没有创造新的最高分，只要能稳定指出能力从哪里开始丢失，也可能对工程实践很有帮助。本文属于后一类：它更像在补充压缩过程的诊断仪，而不是替所有方法打分的排行榜。
这也是我推荐把它放进阅读清单的原因。模型越来越大，压缩不能只靠更激进的删除比例；我们还需要知道模型内部哪些关系真正值得保留。交互视角让这个问题变得更具体，也为后续更低成本、更可部署的压缩研究留下了清晰方向。
龙哥点评
我认为这篇工作的亮点，不是又提出了一个“剪枝百分比更高”的数字，而是换了一个更接近模型能力的问题：参数删掉之后，模型内部还剩下哪些可泛化的关系？很多压缩工作容易把冗余理解成参数层面的静态属性，但模型真正使用的是组合后的表征。本文把“突然掉点”联系到低阶交互被大量移除，至少给了工程师一个可以观察、可以反驳、也可以继续改进的机制假设。
如果未来能把交互诊断进一步降低计算成本，并在更多任务上证明它能够提前预测失效，那么剪枝流程可能从“先删、再测、坏了回退”，变成“边删边观察表征是否越过安全线”。目前它更适合作为研究和分析框架，而不是直接装进线上压缩流水线的现成开关。对于正在做模型压缩、结构化剪枝或大模型部署的人，这篇论文值得看的原因，正是它把一个常被归因于经验的拐点，拆成了可追踪的内部变化。
参考文献与原文
本文原文：https://arxiv.org/abs/2609.06483
大语言模型一次性剪枝代表工作：https://proceedings.mlr.press/v202/frantar23a.html
本文基于龙哥读论文PaperDaily数据库及PaperMiner的MCP进行汇总整理。本文为论文解读与个人学习笔记，不构成任何论文审核意见，及对产品能力、安全性或商业可用性的保证。
还没有公开留言，欢迎留下你的看法。