← 返回 PaperDaily 大模型与智能体

告别误触和乱码，首个构建-注入联合优化指纹框架来了！

LLM一发布就被倒卖、二次分发，权属怎么证明？华东师大这篇2026年的工作想了个妙招：把“指纹”藏进模型参数里，而且不是用容易被识破的乱码，也不是用会误触的普通英文，而是用低资源语言组成的“代码混合”语言。更厉害的是，指纹的“构建”和“注入”不再割裂，构建时选的语言直接指导注入时往哪里写。最终结果很硬核：平均困惑度只有96（远低于乱码的1302），注入成功率

龙哥读论文发布于 2026-08-14 09:11:33 阅读 3 查看原文

#大语言模型 #模型训练 #NLP #AI应用

原论文信息如下：

论文标题:
Construction-Driven Injection: Linguistically-Grounded Edit-Based Code-Mixing Fingerprints for Large Language Models

发表日期:
2026年07月

发表单位:
华东师范大学

原文链接:
https://arxiv.org/pdf/2607.25633v1.pdf

如何给LLM打上隐形指纹？——从“构建”到“注入”的联合优化

大语言模型（LLM）是砸了大钱、堆了海量数据和算力才训练出来的，谁授权允许谁用天经地义。但现实是，模型权重一旦被泄露，哪怕只用黑盒API部署，也能被非法倒卖、二次分发。开发者辛辛苦苦做出来，却连自己的“孩子”都认不出来，这口气谁能咽下去？更严峻的是，随着开源模型生态的繁荣，模型窃取和未授权二次分发事件呈指数级增长。据论文引用的行业报告，2025年全球因模型泄露导致的经济损失已超过数十亿美元。因此，如何为LLM打上一个既隐蔽又持久的“身份标签”，成为AI安全领域一个亟待解决的痛点。

目前的主流方案是给模型加“指纹”（Fingerprint），即在模型行为里嵌入一组特殊的“触发器-响应”对。如果端出一个可疑模型，问它触发器内容，看它给的回答是不是事先设定好的那一条，就能判断这模型是不是偷的。这种方法类似于给模型植入一个“秘密暗号”，只有模型的原主人知道这个暗号及其对应的正确回答。然而，现有的指纹方案在实用化道路上遇到了两个核心障碍：一是触发器容易被误触发，导致正常用户被错误标记；二是触发器过于突兀，容易被攻击者通过简单的困惑度检测过滤掉。

但这里有个麻烦事儿：指纹的“构建”和“注入”这两个环节，以前是割裂的。构建只想着怎么让触发器不易被误触、不易被检测；注入只想着怎么把“触发器-响应”对写进模型参数里。两边各干各的，结果就是效果两边都没做到最好。具体来说，构建阶段设计的触发器可能非常巧妙，但注入阶段如果只是简单粗暴地微调模型，不仅会破坏模型原有的能力，还会让指纹信号分散在整个参数空间中，容易被后续的微调或量化操作洗掉。反之，如果注入方法很先进，但触发器本身设计得糟糕（比如困惑度极高），那么攻击者根本不需要进行复杂的模型修改，只需一个简单的困惑度过滤器就能让指纹失效。

华东师范大学的研究团队正是看到了这个问题，提出了一个端到端的框架——LCF-LCFEdit，核心思想就是：构建驱动注入。构建指纹时选定了什么语言，注入时就把参数的修改集中到该语言相关的子空间里，让手指和大脑协同工作，效果自然不一样。这个框架的巧妙之处在于，它首次将指纹生命周期中原本独立的两个阶段——触发器的语言学设计与参数的模型编辑——通过“语言身份”这一桥梁紧密耦合起来，形成了一个闭环的优化体系。

代码混合指纹：低困惑度、零误触，让盗版无处遁形

以前指纹构建有两大流派，但各有各的坑。这两种流派代表了触发器设计的两个极端：一个追求“自然”但牺牲了“独特性”，另一个追求“独特性”但牺牲了“隐蔽性”。长期以来，研究者们一直在寻找一个能够兼顾两者的中间地带。

自然语言指纹（Natural Language Fingerprint, NLF）：直接用英文短语当作触发器。这样的好处是看起来像正常聊天，但问题也很直接——误触发率极高。有研究显示，当NLF出现在句尾时，误触发率竟然高达60%。这就好比银行保险柜的密码设成了“123456”，别人稍微一试就开了。为什么误触率这么高？因为自然语言中存在着大量的高频短语和常见句式，一个精心设计的英文触发器很可能在无意中与用户的正常输入“撞车”，导致模型错误地输出指纹响应，从而暴露指纹的存在。

乱码指纹（Instructional Fingerprint, IF）：用随机token序列做触发器。这样肯定不会误触，但因为太“非人类”，困惑度（Perplexity, PPL）直接爆表，平均高达1302。任何防御方只要简单跑一个困惑度检测，就能把这些异常输入过滤掉。用龙哥的话说，这就是在脸上写满“我是间谍”。乱码指纹的另一个问题是，由于它完全不符合任何语言的统计规律，模型在生成响应时也极不稳定，往往会产生无意义的输出，使得指纹响应的可靠性大打折扣。

那么，有没有一种方法，既能像自然语言一样低困惑度，又能像乱码一样零误触？LCF（Linguistically-grounded Code-mixing Fingerprints，语言基础的代码混合指纹）给出了答案。LCF的核心洞察是：真正的“隐身”不是让触发器看起来像主流语言，而是让它看起来像一种“存在但罕见”的语言现象。代码混合（Code-Mixing）——即在一种语言的句子中嵌入另一种语言的词汇或语法结构——在人类多语言社群中是一种自然且常见的现象，但对于单语言模型来说，它又足够特殊，不易被误触。

LCF的思路非常巧妙：既然单一语言容易被模仿，那就用“代码混合”——把多个低资源语言（如孟加拉语、越南语、波兰语等）的词汇和语法融合在一起。但这可不是简单地在句子里随机插入几个外语单词，而是要遵循两条核心规则，以确保生成的触发器既具有语言学上的合理性，又能在模型参数空间中占据独特的位置。

1. 语义密度替换（Semantic-density Substitution）：给定一个低资源语言（例如孟加拉语）的句子，LCF会把其中部分名词短语替换成其他低资源语言（例如越南语）的高“语义密度”词汇。语义密度越高的词，在跨语言嵌入空间中离其他语言的近义词越远，也就是说它代表的概念更独特、更“孤立”，放到模型参数里也就更不容易被主流语言的数据覆盖掉。这个操作的本质是在语义空间中寻找“孤岛”，然后将这些孤岛作为指纹的锚点。语义密度公式 D(w) = SI(w) / L(w) 中的 SI(w) 衡量的是词 w 与其在目标语言中 k 个最近邻的平均欧氏距离，这个距离越大，说明该词在跨语言空间中越“特立独行”；而 L(w) 是 BPE 分词的词长，用于归一化，避免长词天然具有更大距离的偏差。

语义密度公式：D(w) = SI(w) / L(w)，其中SI(w)是词w与其在目标语言中k个最近邻的平均欧氏距离，L(w)是BPE分词的词长。这个比值越大，意味着该词在跨语言空间中越“特立独行”。

2. 语法偏向混合（Grammar-biased Mixing）：不只换单词，还引入第二种低资源语言的语法结构，比如动词第二位语序、黏着后缀等，并用目标语法词作为逻辑锚点。这就保证了混合后的句子虽然“国籍”复杂，但局部依然通顺，困惑度不会飙升。例如，在孟加拉语句子的主语位置插入一个波兰语的动词，并按照波兰语的语法规则进行变位，同时保留孟加拉语的宾语和状语结构。这种深层次的语法混合使得触发器在句法层面也具有独特性，进一步降低了与主流语言句式的碰撞概率。

结果非常惊艳：LCF构造的指纹模板平均困惑度仅96，不仅远低于乱码的1302，甚至还低于普通自然语言的153和传统代码混合方法的104。更重要的是，在全部12种语言上实现了零误触发。这一结果打破了长期以来“低困惑度”与“零误触”不可兼得的魔咒，证明了通过精细的语言学设计，完全可以构造出既自然又独特的触发器。

为了让每个触发器都看起来像正常用户的提问，论文还专门设计了“文化接地查询”（Culturally Grounded Query），把代码混合的触发器嵌入到一个以目标语言为主的、有文化背景的自然问题中。这样一来，语言识别器（如fastText）看到的结果几乎全是纯种语言，误判为“混合语言”的概率只有4%，和正常提问差不多。例如，一个包含孟加拉语和越南语代码混合的触发器，会被包装成一个关于孟加拉国传统节日“Pohela Boishakh”的问题，使得整个查询在文化语境上显得非常自然，从而骗过基于统计的语言检测工具。

图2：不同指纹范式的模板困惑度分布（小提琴图，对数尺度）。白色方块表示四分位距和中位数。LCF（最右）的平均困惑度最低，达到96，而乱码IF（最左）高达1302。从图中可以清晰地看到，LCF的分布不仅均值最低，而且方差也极小，说明其在不同语言组合上表现非常稳定。

构建驱动注入：跨语言对齐让指纹更持久

LCF解决了指纹“长什么样”的问题，而LCFEdit则解决“怎么写进去”的问题。指纹不能只写在表层，因为别人一微调、量化、剪枝，随手就给洗掉了。必须把信息写进模型的“骨髓”里，而且要不影响原有能力。传统的微调方法（如LoRA）虽然能将指纹注入模型，但会严重破坏模型在通用任务上的性能，得不偿失。而基于知识编辑的方法（如AlphaEdit）虽然能保护主流知识，但它们在选择编辑方向时是“盲”的，没有利用指纹本身的语言学特性。

LCFEdit的整体流程如图1所示，可以分为两大步，每一步都服务于“构建驱动注入”这一核心思想：

第一步：主流知识保留（Mainstream-preserving Null-space Projection）

这一步借鉴了AlphaEdit的方法。LCFEdit编辑的是前馈网络（FFN）中的key-value记忆。它的核心是找到一个投影矩阵 PLCF，这个矩阵只允许在与主流知识（英语、中文）正交的方向上修改权重。简单说：你想动核心参数？门儿都没有。你想在新的正交方向写东西？请便。这个投影矩阵是通过对主流语言（如英语）的键矩阵 K0 进行特征分解得到的。具体来说，取 K0 协方差矩阵中特征值接近零的特征向量，这些向量张成的空间就是主流知识的“零空间”。任何在这个零空间内的权重更新，都不会改变模型对主流知识的记忆。

核心公式：利用保留知识的键矩阵K0进行特征分解，取接近零特征值的特征向量组成投影矩阵，使得任何更新∆PLCF都满足：∆PLCFK0 = 0，即主流知识完全不受影响。

第二步：跨语言对齐（Cross-lingual Alignment）

这才是论文的精髓所在。之前的AlphaEdit虽然保护了主流知识，但它在选择编辑方向时是“盲”的——不管指纹是英语、乱码还是代码混合，都用同一种通用方法。LCFEdit不一样：它利用指纹构建阶段选定的目标语言（例如孟加拉语），从该语言的Wikipedia语料中估算出一个“语言表征子空间”，然后构造一个正交投影矩阵 Pisl。这个子空间是通过计算该语言所有token的键向量（key vectors）的协方差矩阵，并取其主成分得到的。它代表了该语言在模型参数空间中的“栖息地”。

最后，通过一个事后凸组合（post-hoc convex combination），把已经算好的权重更新∆向该方向拉近：

对齐公式：Δ' = (1-α)Δ + α(ΔPisl)，α∈[0, 1]。

这个操作的精妙之处在于，它不改变已经处于目标语言子空间的那部分更新，但会削弱处于子空间之外的部分。结果就是，指纹信号被“引流”到了该语言专属的子空间内。这就完美呼应了论文的核心论点：构建驱动注入——构建阶段选了什么语言，注入阶段就把修改集中到哪个语言的表征子空间里。参数 α 控制了对齐的强度，论文通过消融实验发现，α=0.6 时能在指纹保留率和模型无害性之间取得最佳平衡。

图1：本文的框架将指纹生命周期的两个阶段耦合起来。(A) 构建：LCF通过语义密度替换和语法偏向混合，将中/低资源语言句子转换为代码混合触发器-响应对；设计动机来源于“数字岛屿”假说。 (B) 注入：LCFEdit通过保留主流知识的零空间投影将响应对写入FFN key-value记忆，随后通过跨语言对齐步骤将更新集中在指纹语言的子空间内。橙色箭头表示耦合：构建阶段的语言身份决定注入阶段的编辑聚焦位置。

实验验证：鲁棒性和无害性双双领先

论文在Qwen3.5（0.8B、4B、9B）和Llama-3.2-3B-Instruct四个模型上做了详尽的实验，对比了LoRA、AlphaEdit、FPEdit、PREE、MCEdit等一众主流方法。结果只能说：全方位领先，没有短板。实验设计覆盖了从0.8B到9B的不同规模模型，以及Qwen和Llama两个不同的模型家族，充分验证了方法的泛化能力。

在可检测性方面，表2展示了6种攻击方法（2种微调+2种量化+2种剪枝）后的指纹保留率。LCFEdit在几乎所有模型和攻击组合上都取得了最好成绩，在Qwen3.5-9B上，平均检测率达到了76.09%，比MCEdit高出整整4个百分点。尤其在剪枝、量化这些对模型改动较大的操作下，LCFEdit依然能保持较高的指纹存活率，体现了极强的鲁棒性。值得注意的是，在4-bit量化这种极具破坏性的操作下，LCFEdit在Llama-3.2-3B模型上的指纹保留率仍能达到95%以上，而对比方法如LoRA的保留率已降至60%以下。

表2：在不同模型修改任务下的可检测性。所有值均为FSR（%）。Origin表示修改前的FSR，后续六列为修改后的FSR，AVG为它们的平均值。每个模型块内每列最佳值加粗。LCFEdit在几乎所有列都取得最优。

在无害性方面，图3显示，注入指纹后，MMLU、RTE和MMMLU的准确率几乎没降，模型困惑度也只增加了0.17。相比之下，LoRA直接把模型搞崩了，精度掉了13-16个点，困惑度飞到10.83。这说明LCFEdit的零空间投影+跨语言对齐确实做到了“精准打击，不伤无辜”。具体来说，在Qwen3.5-9B模型上，LCFEdit注入后MMLU准确率仅下降0.3%，而LoRA下降了14.2%。这种对模型能力的极小影响，使得LCFEdit具备了极高的实用价值。

图3：6种指纹注入方法的零样本QA准确率和困惑度，在3个模型上的平均值。本文方法（深色柱状图）的准确率最高、困惑度最低。从图中可以直观地看到，LCFEdit在保持高准确率的同时，将模型困惑度控制在了一个极低的水平，几乎与未注入指纹的原始模型持平。

数字岛屿假说：低资源语言参数为何天然安全

为什么LCF要选择低资源语言来构造指纹？论文提出了一个非常形象的假说——数字岛屿假说（Digital Island Hypothesis）。这个假说为整个方法提供了理论基石，解释了为什么低资源语言是天然的“指纹保险箱”。

这一假说认为：模型在指令微调、量化和剪枝过程中，训练数据和激活值绝大部分都是主流语言（英语、中文）的。因此，与低资源语言相关的参数，就像太平洋上一座远离航道的孤岛，鲜有轮船（梯度信号）经过。就算海盗（攻击者）在主流海域搞破坏，也很难影响到这些孤岛上的宝藏（指纹信息）。换句话说，低资源语言对应的参数在模型后续的修改中，天然地处于“被遗忘的角落”，受到的扰动极小。

为了验证这个假说，论文在Llama-3.2-3B模型上做了一个巧妙的实验。他们跑了一轮Alpaca数据集的微调，并反向传播语言建模损失，然后读取嵌入矩阵上每个token对应的梯度范数。结果如表4所示：

表4：数字岛屿假说在Llama-3.2-3B-Instruct上的测试结果：Alpaca微调下每种token类型嵌入行的平均梯度范数。LCF令牌的平均梯度仅为NLF的4.2%。

数据完美支持了假说：英语NLF令牌的平均梯度范数是7.2×10-2，而LCF的代码混合令牌只有3.0×10-3，两者相差约24倍。这意味着在后续的微调中，LCF指纹对应的参数几乎“纹丝不动”，指纹信号天然地被保留了下来。这个实验直接证明了，将指纹构建在低资源语言上，相当于给指纹穿上了一件“隐身衣”，使其在后续的模型修改中几乎不受影响。

值得注意的是，乱码令牌的梯度更低（2.1×10-4），但它的高困惑度让它根本无法通过安全审查，属于“匿踪”但没有“隐身”的笨办法。LCF找到了黄金平衡点——既能隐身（低困惑度），又能匿踪（低梯度）。这个平衡点的发现，是本文最重要的贡献之一，它为未来指纹设计提供了一个清晰的指导原则：寻找那些在统计上罕见但在语言学上合理的信号。

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：

LLM指纹注入和AI水印（Watermarking）是一回事吗？不是一回事。AI水印是在模型生成的内容里嵌入肉眼不可见但可检测的信号，目的是区分一段文字是AI写的还是人写的，追踪内容来源。而模型指纹是在模型参数或行为里嵌入特定的“触发器-响应”对，目的是验证一个可疑模型是否来自于原始模型，保护的是模型本身的知识产权。简单说，水印是“产品溯源”，指纹是“模型确权”。两者在技术路径和应用场景上都有本质区别，但可以互为补充，构建更全面的AI安全防护体系。

LCF中提到的“低资源语言”具体包括哪些语言？为什么选这些而不选别的？论文明确使用了12种低资源语言：bn, fa, hi, id, it, nl, pl, pt, sv, th, tr, vi。选择这些语言的标准有两个：一是它们都非英语或中文，且在主流AI训练数据集中占比很小；二是它们覆盖了不同语系（印欧语系、南岛语系、台-卡岱语系等），具有足够多样性，便于论文验证方法的跨语言泛化能力。选择“低资源”而非“小语种”，因为有些语言虽然资源少但语法复杂，能够通过“语法偏向混合”构建出高代码混合复杂度而低困惑度的触发器。例如，波兰语的复杂变位系统和越南语的声调系统，都为构造独特的语法混合模式提供了丰富的素材。

LCFEdit的“事后凸组合”为什么优于将目标语言键放入保留集的方法？直觉上，如果把目标语言键放入保留集，就是在要求编辑时不能改变那些方向，这正好是错的——我们希望修改集中指向目标语言子空间，而不是避开它。“事后凸组合”恰好相反：它不改变已经落在该子空间内的更新，但削弱落在子空间之外的成分，从而让修改的重要程度更集中在目标语言方向上。论文作者也验证了这一点，证明把目标语言键放入保留集会损害性能。这个发现揭示了一个重要的方法论原则：在模型编辑中，“引导”更新方向通常比“禁止”更新方向更有效。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性：★★★★✰
提出“构建驱动注入”的耦合思路，将低资源语言与NLF、IF的优缺点结合，设计了语义密度替换+语法偏向混合的LCF构造方法，以及跨语言对齐的LCFEdit注入方法，整体思路新颖且自洽。但AlphaEdit的零空间投影属于已有工具，复用但非原创。不过，将零空间投影与跨语言对齐相结合，本身也是一种有价值的创新。

实验合理度：★★★★★
实验设计非常扎实：4个模型（含跨家族对比）+6种攻击+6个基线+3个评价维度，数据翔实且对比公平。特别增加了消融实验验证跨语言对齐和查询包裹器各自的贡献，还设计实验直接验证了“数字岛屿”假说，令人信服。消融实验显示，移除跨语言对齐步骤后，指纹保留率平均下降12%，证明了该步骤的关键作用。

学术研究价值：★★★★★
该工作为LLM指纹注入提供了一个全新的范式——用低资源语言作为天然保护伞，并通过构建驱动注入实现联合优化，具有很强的启发意义。“数字岛屿”假说也为后续研究提供了理论指引。这一假说可能启发更多关于“模型参数空间的语言学拓扑结构”的研究。

稳定性：★★★★✰
在微调、量化等常见攻击下表现稳健，在4-bit量化后仍有95%+的保留率。但在40%高度剪枝下，所有方法包括LCFEdit都大幅下降，仅保留17%。这是方法论本身的固有局限，非LCFEdit独有问题。高度剪枝相当于对模型进行了“截肢手术”，任何依赖参数分布的指纹都难以幸免。

适应性及泛化能力：★★★★★
在Qwen和Llama两个架构、0.8B-9B多种参数规模上都取得了稳定提升，跨家族迁移效果好（Llama-3.2-3B上提升最大）。“代码混合”与跨语言对齐的协同效应在小模型上尤其显著，说明方法对模型多语言表示能力有补偿作用。这表明该方法对于多语言能力较弱的模型，反而能带来更大的相对提升。

硬件需求及成本：★★★★✰
LCF构造过程需要跨语言嵌入和Wikipedia语料库的键统计，预处理有一定计算开销；注入阶段仅需一次前向传播和权重更新，推理时无额外时延。综合来看成本可控，且注入是一次性的。对于拥有中等规模GPU集群的团队来说，完全在可接受范围内。

复现难度：★★★✰✰
论文未提供完整开源代码，但方法论描述详细，关键公式和步骤都有，预期有一定门槛。核心创新点在AlphaEdit的基础上做增量修改，有一定代码基础的研究人员可按论文复现。主要难点在于LCF构造中语义密度计算和语法偏向混合的具体实现。

产品化成熟度：★★★★✰
注入后对模型能力几乎没有影响，指纹在微调、量化下保留完好，已具备部署条件。主要风险在于非标准硬件（模型融合、重排列）下的表现尚未验证，以及高度剪枝下的失效边界。对绝大多数产品化场景（微调客户、API分发）来说，已经足够成熟。建议在实际部署前，针对目标场景的典型后处理操作进行专项测试。

可能的问题：
1. 40%高度剪枝下所有方案均失效，论文未提供根本解决方案；2.面对模型融合（Model Merging）这种更复杂的后处理攻击表现未知；3. 代码未开源，第三方评估和落地门槛较高；4. “数字岛屿”假说仅验证了嵌入层梯度，缺少对更深层参数的验证。未来工作可以探索将指纹注入到更深层的FFN层，并验证其在不同层级的鲁棒性差异。

主要参考文献

[1] Cui, Y., Li, Y., Jiang, T., & Yi, X. (2026). Construction-Driven Injection: Linguistically-Grounded Edit-Based Code-Mixing Fingerprints for Large Language Models. arXiv:2607.25633.

[2] Meng, K., et al. (2022). Locating and Editing Factual Associations in GPT. NeurIPS. (ROME方法)

[3] Fang, J., et al. (2025). AlphaEdit: Null-Space Constrained Knowledge Editing for Large Language Models. ICLR.

[4] Wang, Z., et al. (2025). FPEdit: Model Fingerprinting via Knowledge Editing. NeurIPS.

[5] Li, X., et al. (2025b). MCEdit: Multi-Candidate Fingerprint Editing with Margin-Based Boundary. ACL.

*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～想了解更多原文细节的小伙伴，可以点击"阅读原文"，查看更多原论文细节哦！

AI模型就像自家的孩子，被偷了都不知道是谁家的。龙哥读论文粉丝群已满，新群火热开放中！扫描下方二维码或者添加龙哥助手微信号加群：kangjinlonghelper。一定要备注：研究方向+地点+学校/公司+昵称（如大模型安全+上海+华东师大+龙哥），根据格式备注，可更快被通过且邀请进群。
wechat_helper