龙哥推荐理由： 这篇论文最有意思的地方，不是“能不能遗忘”，而是“遗忘前能不能先把没必要遗忘的删掉”。Apple Research 直接把机器遗忘做成了省算力工程，最高能省下约50%执行时间，思路很实在。
原论文信息如下：
论文标题:
When unlearning is free: leveraging low influence points to reduce computational costs
发表日期: 2025年12月
发表单位: Apple Research; Harvard University; University College London (UCL)
原文链接: https://arxiv.org/pdf/2512.05254
遗忘也能省钱？从“低影响数据”入手
机器学习里最贵的操作之一，不是训练模型，而是把某些数据从模型里“抹掉”。原因很简单：如果想让模型表现得像“从来没见过这些数据”，最稳妥的办法就是重训一遍。但现实很不讲道理，模型越大、数据越多、删除请求越频繁，重训就越像拿高铁票去买一台拖拉机，贵得离谱。这篇来自 Apple Research 的论文，切入点很直接：并不是忘掉忘不掉的问题，而是先判断哪些数据根本没那么重要。如果某些样本本来就几乎没影响模型学习，那它们被请求删除时，完全可以先从遗忘集合里“瘦身”，再交给真正的遗忘算法处理。结果就是：遗忘任务还在，但算力账单明显变薄了。图1：论文核心思路相关示意。先找出“低影响点”，再把它们从遗忘任务中剔除，减少后续遗忘计算成本。这篇工作的标题已经把立场摆得很明白：When unlearning is free，说白了不是“遗忘免费”，而是“让一部分本来就没啥存在感的数据先下车”。这就像清理房间：真正占地方的是大箱子，不是角落里那张便利贴。论文做的，就是先把便利贴挑出来，别让清洁工白忙活。
如何判断哪些数据“无关紧要”？影响函数来帮忙
先把概念说人话：影响函数可以理解为“某个训练样本对模型结果到底掀起了多大波澜”。波澜越小，说明这个样本越像背景板；波澜越大，说明它确实在模型学习里刷过存在感。论文里把这件事分成两种看法。第一种叫测试影响：看某个训练点对测试集预测有多大影响。第二种叫自影响，也就是样本对自己有多大影响，这在文献里常被称为label memorization score，中文可理解为“标签记忆分数”，最早由 Feldman 相关工作提出。直觉很朴素：如果一个点连自己都没怎么“记住”，那它大概率也没怎么影响别人。这篇论文比较聪明的地方在于，它没有死磕“精确算影响”，而是比较了几种近似影响方法：Hessian 近似、LESS，以及一个更便宜的启发式方法 Lowest Gradients。其中 LESS 是 Learning Example Selection Strategy 的缩写，中文可译为“学习样本选择策略”；它来自 Xia 等人的工作，核心是用随机投影和梯度存储来做影响估计。Lowest Gradients 则更粗暴：训练过程中梯度一直很小的点，往往也更像低影响点。图2：论文中关于“影响”的核心公式截图。它表达的是：删除某些样本前后，测试损失的变化可以用样本权重变化的导数来近似。公式背后的逻辑不复杂。设训练集是 D，遗忘集合是 S。理想状态下，删除 S 后的模型应该像“从未见过 S”一样。直接重训太贵，于是论文用影响函数近似“删掉这些点以后，测试损失会变多少”。这里最重要的几个量是：梯度，表示当前样本对参数更新的推动；Hessian，表示损失曲面的弯曲程度；以及它们之间的组合，决定了某个点到底是“推了一把”，还是“只是路过”。说白了，这一节的目标不是把数学堆满屏，而是回答一个现实问题：哪些样本删不删都差不多。只要能找到这批“差不多先生”，后面的遗忘就能少算很多步。
理论支撑：为什么能用近似的函数代替精确计算？
论文这里不是在“拍脑袋近似”，而是借用了已有理论：当遗忘集合 S 相对整个训练集足够小的时候，一阶泰勒展开带来的误差是可控的。直观理解就是：如果只挪动一个很小的零件，机器状态不会突然翻车；局部线性近似通常够用。论文引用并改写了 Broderick 等人的结果，给出的结论可以概括成一句话：当 |S|/|D| 足够小时，近似误差大约是二阶量，也就是跟遗忘集合占比的平方同阶；而真正要近似的影响本身，是一阶量。这样一来，近似项的误差就比目标本身小得多，理论上就站得住脚。图3：论文中的理论定理截图。它说明了近似影响与精确影响之间的误差在“小遗忘集合”条件下是可控的。这里的关键假设也需要说清楚。首先，损失函数要足够平滑，能做二阶求导；其次，Hessian 不能太离谱，最好别接近奇异；再者，遗忘集合不能大到把“局部近似”这件事直接打爆。换句话说，这套理论更像是给小规模删除准备的，不是给“把训练集一口气删一半”准备的。论文还特别强调了一个工程现实：精确影响函数太贵。哪怕理论上漂亮，实际算 Hessian、做二阶近似、反复求逆，依然可能把算力吃得干干净净。所以论文的态度很务实：能近似就近似，能缓存就缓存，能在训练时顺手记录的，就别等到训练后再补课。
Kleiman, A., Fisher, R., Deaner, B., Wieder, U. When unlearning is free: leveraging low influence points to reduce computational costs. arXiv, 2025.Koh, P. W., Liang, P. Understanding black-box predictions via influence functions. ICML, 2017.Broderick, T. et al. Approximate influence functions for outlier detection and sensitivity analysis. 2023.Triantafillou, E. et al. NeurIPS’23 unlearning competition. 2024.
