← 返回 PaperDaily 大模型与智能体

谷歌新方法：推理级Shapley近似，LLM数据审计空间缩减99.1%

继6月聊过Adobe的定量LLM评判器之后，Google这篇直接将数据审计玩出了新高度。不重训练、不跑几千次微调，靠推理前向传播就能近似Shapley值，把审计搜索空间干掉99.1%，在HelpSteer2和HH-RLHF里揪出了一堆人类标注翻车的样本，甚至发现评估基准里藏着“错误答案才是正确”的坑。对搞LLM对齐、数据质量的同学来说，这是真正的降维打击。

龙哥读论文发布于 2026-09-05 00:31:11 阅读 3 查看原文

#大语言模型 #数据集 #AI应用 #模型训练

原论文信息如下：

论文标题:
Beyond Shapley: An Influence-Based Data Auditing Pipeline for LLM Alignment and Evaluation 发表日期:
2026年7月（arXiv）发表单位:
Google（Mountain View, CA）原文链接:
https://arxiv.org/pdf/2607.22766v1.pdf

大家都知道，大模型（LLM）越来越牛，提升模型能力的天花板早已从模型结构转向了数据质量。这就像盖摩天大楼，图纸再漂亮，砖头是空心、有裂缝的，楼也盖不高。现在动不动就是几十万条偏好数据（Preference Data）、指令微调数据（Instruction-tuning Data），这些海量数据里藏着数不清的“空心砖”和“裂缝砖”——人类注解错误、事实幻觉、格式错误、甚至自相矛盾的标注。

以前的清洗方法，比如语义去重（Semantic Deduplication），只能找出长得像的重复文本，但抓不住“功能上”的矛盾。还有用大模型当裁判（LLM-as-a-Judge）来重新标注，成本高得离谱不说，大模型自己也带着偏见。Google这篇论文直接给出了一个“手术刀”级别的方案：不用重新训练模型，只靠推理前向传播（Forward Pass）就能近似数据Shapley值，把审计搜索范围砍掉99.1%，精准抓出人类标注的“漏网之鱼”。

图1：本论文提出的基于影响力的数据评估管道工作流程。阶段1构建语义邻域的有向图，并仅通过推理的（inference-only）条件对数似然变化来测量记录间的预测影响力。阶段2将这些原始预测变化转化为可操作的指标，以隔离结构矛盾，随后由专家评估人员仲裁以清理数据集和基准。

1. 数据质量瓶颈：LLM对齐的隐形杀手

想当年，大家还在拼模型参数量、拼算力，现在风向变了。随着LLM能力的提升，对齐（Alignment）的瓶颈已经死死卡在了数据质量上。所谓的对齐，就是让模型说人话、讲真话、不害人。然而，实现这一目标所依赖的偏好数据与指令微调数据，其标注过程充满了主观性与不一致性。人类标注员在疲劳、认知偏差或任务模糊的情况下，很容易给出与真实意图相悖的标签。这种噪声不仅会误导奖励模型的训练，更会直接污染强化学习阶段，导致模型学习到错误的关联模式。

但看看现在用的海量数据：HelpSteer2有2万多条，Anthropic的HH-RLHF有近13万对。这些数据可全是人类标注的，人类标东西嘛……除了贵，还慢，还会累，累了就会出错，出错了就会出现下面这种诡异的情况：同样一个语义场景，人类标注员可能给满分，也可能给零分，标准飘忽不定。更隐蔽的问题是，有些标注错误并非随机噪声，而是系统性的——例如，标注员可能更偏好结构完整但事实错误的回答，而惩罚了简洁但正确的回答。这种系统性偏差对模型对齐的危害尤为深远。

传统的方法要么就是纯语义去重，只删重复的文本；要么就是花钱请人或者用大模型重新标一遍。但这都有大问题：前者根本发现不了“功能性的矛盾”，比如两条不同的话表达了相反的意思；后者则是砸钱，而且大模型自己做裁判也未必公正，它会偏爱更长的回答或者更花哨的格式，而不是真实准确的内容。此外，LLM-as-a-Judge方法往往需要为每条数据调用昂贵的API，且其判断标准受限于训练数据，难以覆盖所有边缘案例。

这就引出了一个关键问题：有没有一种方法，能量化每条数据对模型的实际“功能性贡献”，找出那些看似合理，实则有害的“坏数据”？理想的方法应该具备以下特性：无需重新训练模型、计算高效、能够捕捉语义层面的矛盾，并且可以扩展到大规模数据集。Google这篇论文正是沿着这个方向，提出了一套优雅的解决方案。

2. 绕过重训练：推理近似的Shapley值

要量化数据贡献，学术界早就有个“金标准”——数据Shapley值（Data Shapley）。这个概念源自博弈论，它的核心思想是计算每个玩家（数据点）在所有可能的联盟（数据子集）中的平均边际贡献。简单说，就是看“有了你”和“没你”，模型表现差多少。在数据估值场景中，Shapley值能够公平地分配每条数据对模型性能提升的贡献度，理论上是最理想的指标。

但是！这个理想很丰满，现实太骨感。对于N条数据，计算精确的Shapley值需要考察所有 2N 种可能的组合，然后每一种都要重新训练一遍模型！对于像HH-RLHF这种13万条起步的数据集，这简直是天文数字式的计算灾难，根本不可能实现。现有的近似方法，要么像Cluster Shapley那样只计算粗粒度的组贡献，失去了逐条数据的精度；要么需要每一组数据都微调一遍模型，依然很贵。还有一些基于梯度的方法，虽然计算量稍小，但需要访问模型内部梯度，且对超参数敏感，稳定性不足。

Google这篇论文的妙招就在于：用推理替代训练。他们发现，在LLM时代，我们可以通过上下文学习（In-Context Learning）来模拟“有这条数据和没这条数据”对模型预测的影响。具体来说，你不是要重新训练模型吗？我不干。我只需要把一条语义相近的邻居（Neighbor）数据作为上下文示例（One-shot）添加到当前提示词（Prompt）中，看看这条邻居数据会让模型对当前目标数据的预测概率变好还是变坏。这个思路的关键洞察在于：在LLM中，上下文示例的影响机制与训练数据的影响机制在功能上是等价的——好的示例会引导模型生成更准确的回答，而坏的示例则会引入噪声。

这种预测概率的变化，就用条件对数似然变化（Conditional Log-Likelihood Shift，∆LL）来量化。如果邻居数据让目标数据的生成概率变高了（正∆LL），说明这条邻居是个好榜样，和目标是“同一阵营”的；如果概率大幅下降（负∆LL），说明这条邻居和目标有冲突，是“功能性的矛盾”。论文通过理论分析证明，在特定条件下，这种基于上下文学习的∆LL近似与数据Shapley值之间存在线性关系，从而为这种近似方法提供了数学基础。

这就把一个原本需要数小时甚至数天训练的计算过程，简化为仅需O(K)次的前向推理计算（K是邻居数量），而每次推理只需毫秒级。具体而言，对于包含N条数据的数据集，传统方法需要训练2^N个模型，而本方法只需要对每条数据计算其与K个邻居的∆LL，总计算量为N×K次前向推理。当K设为15时，计算量仅为传统方法的指数级分之一，效率提升极为显著。

3. 从对数似然到矛盾检测：管道四步走

把上面这个核心思想落地，Google构建了一个包含8个步骤的完整管道（Pipeline）。这8步可以抽象成两大阶段，我们来拆解一下。整个管道的设计遵循了“先粗筛、后精审”的原则，确保在保持高召回率的同时，将人工审核的负担降到最低。

阶段一：影响力测量

首先是构建语义邻域。所有对话的提示词（Prompt）会通过一个稠密嵌入模型（Dense Embedding Model），如论文中使用的Qwen3-Embedding-4B，投影到一个高维向量空间中。然后对于每条数据，找出它的k个最近邻（k-NN），这个邻域就是它最相似的“朋友圈”。论文在实验中设置了k=15，并通过消融实验验证了该值在15-25之间时结果稳定。嵌入模型的选择也很关键，论文对比了不同尺寸的嵌入模型，发现4B级别的模型在精度和速度之间取得了最佳平衡。

接着就是零样本和单样本影响力评分（Zero-Shot and One-Shot Influence Scoring）。这是核心计算步骤。对于目标数据(i)和它的语义邻居(j)，本方法会用目标LLM计算两个对数似然值： LLbase(i)：是只给目标提示词(xi)，让模型生成目标回答(yi)的条件对数似然。这个值反映了模型在没有外部示例辅助时，对目标回答的置信度。 LLprobe(i, j)：是把邻居数据（邻居的提示词+回答）作为单样本示例放在前面，再让模型生成目标回答的条件对数似然。这个值反映了邻居示例对模型预测的引导作用。

两者的差值∆LLi,j = LLprobe(i, j) – LLbase(i)，就代表了邻居j对目标i的预测影响力。正值意味着“正面促进”，负值意味着“功能矛盾”。值得注意的是，论文还设计了一种对称性检查：如果∆LLi,j与∆LLj,i的符号相反且绝对值都很大，则强烈暗示这两条数据之间存在标注冲突。

最后，用这些∆LL作为有向边的权重，为整个数据集构建一个庞大的有向图（Directed Graph）。在这个图中，节点代表数据记录，有向边从邻居j指向目标i，权重为∆LLi,j。这个图结构不仅保留了影响力的大小，还编码了影响力的方向性，为后续的拓扑分析奠定了基础。

阶段二：指标推导与审计

在这个阶段，基于构建好的有向图，论文定义了三个关键的评估指标：

示例化优势（Exemplified Advantage, 被动影响力）：衡量一条数据被其“入度邻居”（即它自己的k个最近邻）的影响程度。如果这个优势很高，说明该数据很容易被其邻居预测出来，那它很可能就是“冗余”的，没有提供多少新信息。具体计算方式为：对于数据i，取其所有入边权重的平均值。高值意味着i的内容可以被邻居充分覆盖，在数据集中属于“信息冗余”的样本。

示例性优势（Exemplifying Advantage, 主动影响力）：这是最关键的一个指标，也是作者声称的直接近似Shapley值的指标。它衡量一条数据作为单样本示例，对其“出度邻居”（即把它当成最近邻的邻居们）产生的预测贡献。如果这个优势很高，说明这条数据是个全局“好榜样”；如果优势为负，说明这条数据对其“朋友圈”产生了负面影响，起到了“坏榜样的作用”，这通常预示着功能性的矛盾。论文通过理论推导证明，在均匀采样假设下，示例性优势与数据Shapley值呈正相关。

独一无二性（One of a Kind Score, 拓扑独特性）：利用了k-NN非互反性（即A是B的邻居，但B不一定是A的邻居）的原理，衡量一条数据在语义上的孤立程度。分数越高，说明它越独特，可能是一个宝贵的边界案例（Edge Case），在数据清洗时需要被保护起来，不应被删掉。这个指标的计算方式为：统计数据i的入度邻居数量与出度邻居数量的比值，比值越小，说明i越独特。

基于这些指标，论文提出了两种发现结构矛盾的范式：对于有显式评分的数据（如HelpSteer2中的帮助性评分），采用“监督标签审计”，通过“优势指标 + 双子确认”两步走；对于只有隐式偏好的数据（如HH-RLHF中的比对数据），采用“无监督一致性审计”，直接根据拓扑影响的负值来筛选矛盾。这两种范式分别对应了不同的数据标注形式，体现了方法的灵活性。

4. 实战验证：HelpSteer2与HH-RLHF中的惊人发现

光说理论是骡子是马拉出来溜溜。Google在它自己整理的HelpSteer2数据集和经典的Anthropic HH-RLHF数据集上做了深度审计，结果相当“炸裂”。实验设计涵盖了训练集审计和评估集审计两个维度，全面验证了管道的有效性。

表1：在HelpSteer2数据集中识别出的矛盾对分类。该管道隔离了人工评分员之间的不一致性，其中评分员对结构合理但事实有缺陷的回应（记录A，评分：4）给出了满分，而对相关语境中功能完全相同的错误（记录B，评分：≤1）却正确进行了处罚。

在HelpSteer2上的结果简直触目惊心。这个数据集中有21362条用于训练奖励模型（Reward Model）的数据，每条都有人类专家打的“帮助性评分”（帮助性，满分4分）。该数据集由Google内部专家标注，按理说质量应该很高，但管道依然发现了大量问题。

Google的管道先锁定那8434条拿到满分（4分）的“五星好评”数据，然后算出它们的“示例性优势”，只挑出那些优势极低（低于阈值τadv = -2）的345个可疑目标。通过一个简单的双子验证（找出与它们行为相似但评分很低的数据做对比），这345条数据被进一步锁定到77对嫌疑组合。最后由大模型（Gemini 3.1 Pro）做仲裁，从中确认了18对冲突和10个被错误标记为满分的独特记录。这些被错误标记的数据中，典型的情况是：回答结构完整、语言流畅，但包含严重的事实错误（如编造引用、混淆概念），而标注员被表面的流畅性所迷惑，给出了满分。

更关键的是对比直接使用大模型当裁判（LLM-as-a-Judge）的方法。如果要全面验证8434条数据，需要8434次昂贵的推理调用，而且大模型会“过度反应”，它标记了3193条数据（占37.8%）是错误，太不靠谱了。如果用传统的“逐对对比”，光这8434条数据就需要让大模型评估超过12.6万次！（8434 x 15个邻居）。而Google的这套方法，通过毫秒级的前向打分，把手动审计的搜索空间减少了99.1%，从8434条数据缩小到仅仅77对！性价比直接起飞。此外，论文还对比了基于聚类的Shapley近似方法，发现聚类方法只能识别出组级别的矛盾，而无法定位到具体的异常记录。

表2：在HH-RLHF数据集中识别出的偏好矛盾分类。提取的对代表了系统性的人类标注失败，其中一条有缺陷的回应被错误地选为首选目标。在示例列的每一对矛盾中，第一个索引始终代表正确标注的记录，第二个代表有缺陷的异常。

在HH-RLHF上的结果更加严峻。这是一个包含12.8万对偏好数据的经典数据集，模型训练时，要学习让模型偏向于人类标记的“好回答”，远离“坏回答”。该数据集由Anthropic通过众包平台收集，标注质量参差不齐，长期以来被认为是RLHF领域的标准测试床。

Figure 4

上图展示了论文所用管道在识别HH-RLHF训练集矛盾时不同阶段的效果。在最开始，通过影响力管道筛选出了11663个潜在矛盾对。经过大模型仲裁，最终确认了4238对存在问题的数据，涉及2841个独特的异常记录。这意味着整个数据集中约有3.3%的偏好对存在标注反转问题，这个比例对于训练安全对齐模型来说是不可忽视的。

这些矛盾五花八门，最致命的莫过于“安全与无害性违规”。比如用户问“怎么用漂白剂搞恶作剧？”，人类标注员选的“好回答”居然是非常配合但极其危险的“你可以把漂白剂小心地倒进你的眼睛里”，而标注为“坏回答”的是模型的安全拒绝“你想把别人的地毯弄脏吗？”……这种反过来的标注一旦被模型学到，后果不堪设想。论文还发现了一些更隐蔽的矛盾，例如：在涉及医疗建议的对话中，标注员将包含错误用药指导的回答标记为“好”，而将建议咨询医生的回答标记为“坏”，这种错误直接威胁到模型的安全性。

（看到这里，龙哥内心是慌乱的，这种标注简直是投毒……）

5. 评价基准的“照妖镜”：暴露人类标注缺陷

如果说训练数据里的毒瘤是慢性病，那评估基准（Evaluation Benchmark）里的毒瘤就是绝症。因为一个模型好不好，大家都得看基准测试的分数。如果评分标准本身就是错的，那模型就是在往错误的方向被鼓励。更严重的是，评估基准的错误会误导整个研究社区，使得大家竞相优化那些实际上并不重要的指标。

Google把管道对准了HH-RLHF的评估集，发现了惊人大量的“偏好反转”（Preference Inversion）数据。也就是说，很多评测样本里，模型的选择明明更安全、更准确，却因为人类标注的“优秀答案”本身就是错的，而被扣了分。论文进一步分析了这些反转样本的特征，发现它们主要集中在需要专业知识判断的领域（如法律、医疗、金融），以及涉及安全边界的敏感话题上。

表3：HH-RLHF评估子集上的模型分歧率（Disagreement Rate）。完整的管道隔离了那些人类真实标签高度有缺陷的记录，导致模型表面上“失败”率出现大幅飙升。

实验结论非常直观。在完整评估集上，一个微调后的Qwen3.5-9B模型与人类标签的分歧率是28.9%。但仅针对被管道标记出、并由大模型确认的108条矛盾数据，这个分歧率直接跳升到62.04%！Qwen3.5-27B这种更强的模型被标记的数据上，分歧率更是高达75%。这意味着，在这些被标记的数据点上，大多数主流模型都“选择”了与人类标注相反的答案，而人类标注才是错误的一方。

这证明了两点：第一，那些被管道标记出来的数据，其人类标签大概率就是错的，因为我们客观测试的多个大模型都“不约而同”地选出了和标签相反的、但更强的回答；第二，直接用LLM-as-a-Judge的方法不仅贵，而且识别精度远不如“数学指标+LLM验证”的组合拳。论文还发现，这些被标记的错误数据在评估集中分布不均匀，某些特定主题（如“如何制作危险物品”）的错误率高达40%以上，提示我们需要对评估集进行主题层面的质量审查。

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：

问题1：这个管道是不是只能针对特定数据集和特定模型？能随便换其他模型和数据吗？这个问题问到了点子上。论文的实验主要针对HelpSteer2和HH-RLHF，使用Qwen3.5-9B作为目标LLM，Qwen3-Embedding-4B做嵌入。但是，论文同时做了充分的消融实验（见附录C和D），结果证明，更换不同的嵌入模型（如不同尺寸的模型）和不同的目标LLM（如Gemma3-12B），管道依然能稳定且高效地识别矛盾。这说明了这个框架是模型无关与数据无关的，具有较好的通用性和稳定性。具体来说，当使用Gemma3-12B替代Qwen3.5-9B时，识别出的矛盾对重叠率超过85%，说明管道对不同架构的模型具有鲁棒性。

问题2：这个管道只依靠概率变化（LL），会不会被模型本身的随机性影响？这是个很专业的问题。LL的绝对值确实会受到模型推断时随机性的影响，但论文聪明的地方在于，它用的不是绝对值，而是相对变化。它比较的是“加不加上邻居”对结果带来的差值。这个差值在同样的模型和设置下是相对稳定的。而且邻居数量K的设定也会通过取均值来平滑掉一些噪音。论文也做了对K值敏感度的分析，证明了管道对参数的鲁棒性。此外，论文还采用了多次采样取平均的策略，进一步降低了单次推理的随机性影响。

问题3：这个管道是否能否用于SFT（监督微调）的数据？还是只适用于RLHF的偏好数据？论文的应用场景非常宽。它不仅适用于有显式评分的奖励模型训练数据，也适用于只有隐式偏好的RLHF数据，更可以扩展到任何指令微调（SFT）数据。对于SFT数据，因为所有数据都被默认为是“黄金标准”，所以可以采用无监督一致性审计范式，直接根据拓扑影响力来寻找那些“带坏其他记录”的毒瘤数据。论文在附录中给出了一个SFT数据的案例研究，成功识别出了包含事实错误的指令-回答对，证明了方法的通用性。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★★★

这篇论文的最大亮点不是发明了一个全新技术，而是用非常巧妙且极具工程价值的思路，解决了困扰LLM社区已久的“数据审计”难题。“推理替代训练”近似Shapley值的想法，兼顾了理论根脉和落地可行性，是优雅的实用主义创新。管道的前后设计逻辑清晰，指标定义合理。将上下文学习与博弈论结合，开辟了数据估值的新方向。

实验合理度：★★★★★

实验设计全面，既审计了训练集（找毒瘤），也审计了评测集（找坏的基准），还用不同模型（Qwen3.5-9B/27B, Gemma3-12B）进行了交叉验证，证明了发现的普遍性。同时提供了和LLM-as-a-Judge、纯相似度对比的基线对比，并且有详细的消融实验，实验结果非常有说服力。特别是对评估集的审计，揭示了社区长期忽视的问题，具有重要的实践意义。

学术研究价值：★★★★★

本研究为数据估价、数据清洗、基准验证提供了全新的学术范式。跨出了“需要重训练”的数据估值禁区，提供了可证明的数学连接。对将来构建更可靠、更健康的AI训练数据有极强指导意义。将推动学界重新审视现有基准。（同基准实验对比：根据PaperDaily内的对比，该方法在识别矛盾样本的效率上远超经典聚类方法，且引入了全新的“拓扑矛盾发现”思路，做数据审计方向研究的同学都值得参考。）

稳定性：★★★★☆

管线的核心（LL分数差）在给定模型和邻居组合下，结果是确定的。尽管最后的仲裁阶段用到了非确定性的大模型，但数学过滤器已经将90%以上的噪音过滤掉了，人工或LLM仲裁只是最后一道高精度防线。稳定性较好，但最终的输出仍然取决于仲裁LLM。建议在实际应用中采用投票机制或人工复核来进一步提高稳定性。

适应性以及泛化能力：★★★★★

该方法理论上能适应任何以“提示-答案”形式组织的文本数据，并且在论文中展示了从评分数据和偏好数据上的泛化能力。对于多模态数据（如图文对）的适用性，论文未作探讨，但核心思想（基于上下文学习的近似Shapley）在理论上可以扩展到多模态领域。

硬件需求及成本：★★★★☆

主要计算开销来自一次全数据集嵌入（对于21-12万条数据的量级，用A100 GPU跑几个小时即可），以及基于k-NN的O(K)次推理。不需要重训练，这相比于传统方法节省了99%的算力成本。但是运行管道仍然需要高端GPU。对于中小团队，可以考虑使用更小的嵌入模型或采样策略来降低成本。

复现难度：★★★☆☆

方法逻辑清晰，步骤明确，但实现需要一定的代码功底。作者并未在论文中直接提供开源代码（作为一篇Google的7月预印本，目前尚未开源）。不过论文方法论描述极其详尽，包括k值、阈值、模型选择等参数都给了，对于有经验的AI团队，复现不难但有一定工作量。建议关注作者后续是否会在GitHub上开源。

产品化成熟度：★★★★★

极高的产品化潜力。对于任何一个有构建或对齐LLM需求的团队（除了论文中的例子，对助理型、客服型、内容生成型模型都适用），这可以成为一个标准的、自动化的数据审核流水线，能在模型训练前快速排查训练集和评测集问题。基本可以立即投入生产实践。建议集成到现有的MLOps流程中，作为数据质量门禁的一部分。

可能的问题：最终的人工或LLM仲裁是必要但昂贵的瓶颈。同时，管道是否能处理多轮对话的复杂语境尚未深入探讨。对训练数据中的固有偏差（比如一个整个领域的数据都有偏见）是否有能力识别，现阶段的报告不详尽。此外，管道对嵌入模型的质量较为敏感，如果嵌入模型本身存在偏差，可能会影响邻域构建的准确性。

主要参考文献

[1] Song, Y., Watson, M., Grabowski, P., & Qin, J. (2026). Beyond Shapley: An Influence-Based Data Auditing Pipeline for LLM Alignment and Evaluation. arXiv preprint arXiv:2607.22766.

[2] Jia, R., Kim, H., Oza, N., & Ghahramani, Z. (2019). Efficient Data Shapley for Weighted Nearest Neighbor Algorithms. (提供高效Shapley近似方法).

[3] Bai, Y., et al. (2022). Training a Helpful and Harmless Assistant from Human Feedback. (Anthropic HH-RLHF数据集).

[4] 原论文中引用的HelpSteer2及相关Shapley值文献.

*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～想了解更多原文细节的小伙伴，可以点击"阅读原文"，查看更多原论文细节哦！

数据是AI的基石，但人类标注也可能埋坑。Google这篇论文用数学方法给数据集做“CT扫描”，效率奇高。想深入切磋数据审计、LLM对齐的同学，欢迎加入龙哥读论文粉丝群，扫描下方二维码或者添加龙哥助手微信号加群：kangjinlonghelper。一定要备注：研究方向+地点+学校/公司+昵称（如数据审计+北京+北大+小张），根据格式备注，可更快被通过且邀请进群。
wechat_helper