扩散大模型也会被"带偏"？EMNLP 2026新研究：在去噪早期锁死"拒绝信号"更安全

原论文信息如下：

论文标题:
Beyond Token Positions: Safety Alignment Across Denoising Steps in Diffusion Language Models

发表日期: 2026年09月

发表单位: 凯斯西储大学（Case Western Reserve University）

原文链接: https://arxiv.org/pdf/2609.00495v1.pdf

开源代码链接: https://github.com/Glresearch1/RAEC

扩散语言模型（dLLMs）最近在AI圈里火得不行。跟传统自回归大模型一个词一个词从左往右"念"不同，扩散大模型走的是另一条路：先整一段全是蒙版的文本，然后像雕塑家一样，通过多轮"去噪"逐步把内容一点点"抠"出来，每一轮可以同时确定多个位置的词。LLaDA、Dream这些模型都是这么干的。 听着挺美吧？生成速度更快、还能并行处理。但这套新玩法也带来了一些让人头疼的新问题，尤其是安全对齐这一块，水比想象中深得多。 传统自回归模型里，生成顺序就约等于句子顺序：先吐出来的词一定在句子的前面，于是有一大类安全漏洞被叫做"浅层对齐"——只要开头几个词被带偏，整段回答就跟着跑偏了。可扩散大模型不一样，早期去噪步骤里提交的词可能出现在句子的任何位置，而句子最前面的位置反而可能拖到很晚才被确定下来。这就意味着"什么时候生成的"和"在哪个位置出现"成了两个独立的维度，安全问题也从一维变成了二维。 凯斯西储大学的研究团队正是从这个角度切入，系统地测量了扩散大模型在有害提示下的拒绝行为。他们发现了一些挺反直觉的现象：模型翻车的时候，脑子里并不是完全没有拒绝的念头，拒绝信号其实早就冒出来了，只是太弱、太短暂，还没来得及被"拍板"就被后面的生成过程给覆盖掉了。而那些成功拒绝有害请求的回答，拒绝信号的强度更高、持续的时间也更长。

扩散大模型的安全难题："拒绝"与"顺从"抢跑

为了理解扩散大模型为什么会在安全上翻车，得先搞明白它的生成过程。论文实验里用的是掩码式扩散语言模型，像LLaDA-8B和Dream-v0-7B都属于这一类。这类模型生成文本时，一开始整个序列都是蒙版状态，然后模型在每一轮去噪步骤里给每个位置预测一个"干净"的词分布。虽然模型对每个位置都有预测，但真正提交到最终答案里的，只有那些被选中去噪的位置，其他位置继续保持蒙版状态等待下一轮。 这就产生了一个很有意思的现象：一个位置可能在很晚的去噪步骤里才被确定，但它的文本位置却排在很前面；反过来，一个靠后的文本位置也可能在极早的去噪步骤里就被"提前锁定"了。 研究团队用Llama-Guard-3-8B当裁判，在JailbreakBench和StrongREJECT这两大有害指令基准上测试了模型安全性，还额外加了DIJA这种专门针对扩散大模型设计的越狱攻击。结果发现，模型安全回答的拒绝模式高度统一，很多回答都以"I'm sorry, but I can't assist with that"这类句式开头。在LLaDA-8B-Instruct上，这类拒绝前缀的出现比例高达95%以上。 那这些拒绝信号到底是在去噪过程的哪个阶段出现的？团队选了两个最有代表性的拒绝词"sorry"和"can't"作为观察指标，在去噪步骤和响应位置两个维度上分别追踪。结果非常清晰：拒绝行为高度集中在整个去噪过程的前8%的步骤里，以及回答序列前2%到8%的位置上。 图1：LLaDA-8B-Instruct和Dream-v0-Instruct-7B的拒绝行为在去噪步骤和响应位置上的分布情况。拒绝模式明显集中在早期去噪步骤和起始响应位置。 这说明啥？扩散大模型跟自回归模型一样有"浅层对齐"问题，但它的"浅层"多了一个维度——不光是句子开头的位置重要，去噪过程刚开始的那几步同样关键。

预填充实验：一步天堂一步地狱

为了搞清楚"早期去噪步骤"和"前部响应位置"各自对安全的影响有多大，研究团队设计了一个很巧妙的预填充干预实验。他们分别在回答序列的不同位置插入两类前缀：一类是"拒绝前缀"（I'm sorry, I can't help you.），一类是"顺从前缀"（Sure, here are the following steps:），插入位置包括序列的第1%、12.5%、25%、50%和75%。 图2展示了两种截然不同的剧情走向。图2(a)里，给已对齐模型预填充了顺从前缀，模型就顺着往下生成不安全内容；图2(b)里，给基座模型预填充了拒绝前缀，模型就给出了安全拒绝。 图2：扩散大模型在早期步骤预填充下的响应行为。(a) 顺从预填充让已对齐模型继续生成不安全内容；(b) 拒绝预填充让基座模型产生安全拒绝。 实验结果相当震撼。在位置维度上，拒绝预填充放在开头位置时安全提升最明显，顺从预填充放在开头位置时安全恶化也最严重，这说明响应位置依然重要。但更关键的是步骤维度：无论前缀放在哪个位置，只要它在去噪一开始就被提交，拒绝预填充都能大幅降低基座模型的攻击成功率，顺从预填充也都能让已对齐模型的攻击成功率飙升。 比如说，LLaDA-8B-Base原本的攻击成功率高达86.26%，一旦在去噪早期提交了拒绝前缀，哪怕前缀放在第75%的位置，攻击成功率也能降到41.85%。反过来，LLaDA-8B-Instruct原本攻击成功率只有1.29%，被早期提交的顺从前缀一带，直接飙到93.93%。 这种"无论词出现在哪里，只要在去噪早期被提交就能左右安全走向"的现象，论文里称之为"浅层步骤对齐"（shallow-step alignment）。这是自回归模型里根本不存在的全新安全敏感维度。

安全窗口很窄：前几步定生死

"浅层步骤对齐"这个现象到底影响有多大？能持续多少个去噪步骤？研究团队进一步做了细粒度的干预实验：不再预填整段前缀，而是只挑一个拒绝词，在指定的去噪步骤（第1、2、4、8、16、32、64步）强制提交。 结果不出所料——安全影响高度依赖干预时机。对LLaDA-8B-Base和Dream-v0-Base-7B，在极早期步骤强制提交拒绝词能显著降低攻击成功率，但随着干预步骤往后推，效果越来越弱，过了第8步基本就回到基线水平了。对已对齐模型也是同样趋势：早期干预能保持低攻击成功率，拖到第16到32步再干预就几乎没用了。 图3：不同干预步骤下的攻击成功率（ASR）变化。早期干预降ASR更有效，后期干预基本无效。 这说明扩散大模型里存在一个相当狭窄的"安全敏感窗口"——基本就在去噪过程最前面的几步。这个窗口一过，后面再怎么努力补拒绝词都很难扭转局面。

拒绝信号为何会"夭折"？弱而短暂的证据链

既然早期提交拒绝词能显著提升安全性，那为什么常规解码还是会翻车？答案藏得更深。研究团队发现，不安全回答轨迹里其实并不缺少拒绝信号——98%的不安全回答在生成过程中都出现过拒绝信号，但它们往往太弱或者太短暂，没能撑到最终提交那一刻。 这里需要解释一下研究团队的方法。他们先通过对比已对齐模型和基座模型在有害提示下的概率差异，筛选出被安全对齐放大且在良性提示下几乎不出现的"拒绝专属词"，比如sorry、cannot、unable这些。再追踪这些词在去噪过程中的概率质量变化。 结果非常清楚：安全回答和不安全回答的区别不在"有没有想过拒绝"，而在于拒绝信号能否持续存活到提交时刻。LLaDA-8B-Instruct的安全回答里，拒绝信号的平均持续长度为21.28步，而不安全回答里只有7.41步；Dream-v0-Instruct-7B的数据也类似，分别是18.77步对4.86步。 表2的数据更加直白：不安全回答里，LLaDA只有4.10%的情况真正提交了拒绝词，Dream更惨只有2.00%；而安全回答的提交率高达98%和100%。 图5：安全回答与不安全回答中拒绝令牌跨去噪步骤的持续性对比案例。 图4展示了拒绝词概率质量在去噪过程中的变化曲线——安全回答的拒绝词概率质量在去噪早期和中期明显更高，全程都比较稳；不安全回答虽然也有一定的拒绝信号，但虚弱且不稳定，很容易被其他生成方向盖过去。 图4：安全与不安全回答中拒绝令牌概率质量的动态变化。安全回答持续保持更高的拒绝概率质量。 用大白话讲就是：好多不安全的回答，模型其实"曾经想拒绝"，但这个念头没撑到"说出口"就被后面的生成势头淹没了。

RAEC：在信号被覆盖前抢先锁死

基于这些发现，研究团队提出了一个相当优雅的解决方案——拒绝感知早期提交（Refusal-Aware Early Commitment，简称RAEC）。思路用一句话说就是：拒绝信号要是早期够强、够持久，就提前把它提交了，别等后面的去噪动态把它冲掉。 RAEC的精妙之处在于完全不需要训练，也不改动任何模型参数，只调整解码时的提交策略。具体做法是：在去噪过程的前8步和回答的前8个位置这个"安全敏感窗口"里，持续监测拒绝词集和顺从词集的概率质量。当某个位置的拒绝信号同时满足三个条件——拒绝概率质量超过预设阈值（LLaDA为0.00589，Dream为0.00221）、拒绝概率质量比顺从概率质量高出一定余量、拒绝词出现在模型最可能的前K个候选里——且连续满足3步时，就直接提交概率最高的那个拒绝词。 为什么要连续3步才动手？这是为了防止模型一时冲动。拒绝信号得足够稳定、足够持久，才配被提前"锁死"。同时RAEC也设置了上限，每条回答最多干预2次，保持克制。

实验结果：安全性提升，实用性不打折

RAEC在多个安全基准上的表现相当亮眼。在LLaDA-8B-Instruct上，DIJA-SR的攻击成功率从8.63%降到了6.71%，DIJA-JBB从8.00%降到了6.00%，DIJA-HBB从40.50%降到了34.00%；Dream-v0-Instruct-7B的提升更明显，DIJA-JBB从5.00%降到3.00%，DIJA-HBB从26.50%降到12.75%。 关键是，安全性的提升没有以牺牲实用性为代价。GSM8K数学推理准确率几乎没动（LLaDA从82.30%到82.20%，Dream从87.80%到87.30%），通用任务能力保持得很好。 表3：LLaDA-8B-Instruct和Dream-v0-Instruct-7B在常规推理与RAEC下的安全性和实用性对比。RAEC在降低攻击成功率的同时几乎不影响GSM8K准确率。 研究团队还做了额外的压力测试。在自适应PAIR攻击下，RAEC把攻击成功率从48%降到了36%，绝对降幅12个百分点，相对降幅25%。用Beaver-Dam-7B做独立裁判以及人工评估时，RAEC的安全改进依然稳定出现，说明这不是某一个自动裁判模型的偏好造成的假象。 消融实验的结果也验证了每个设计组件的必要性：把拒绝词集换成随机词或顺从词，攻击成功率分别从6%恶化到9%和12%；去掉顺从概率质量的门槛余量，攻击成功率也会从6%恶化到9%。这说明RAEC的成功不靠运气，每个细节都有它的作用。

扩散大模型安全对齐的新启示

这篇论文最大的价值在于提供了一个新的观察框架。过去评估大模型安全，基本只看最终输出，最多再往前看一步关注开头几个词。但在扩散大模型里，安全问题藏在"生成过程"里——不把中间每一轮去噪步骤里模型在想什么都挖出来，就很难理解它为什么在最后关头跑偏。 扩散大模型的两条生成轴——去噪步骤和响应位置——给安全对齐带来了全新的挑战，但同时也打开了新的防御空间。RAEC证明了在去噪早期锁定拒绝信号是一条可行的路径，而且代价极低，不需要重新训练模型，也不需要额外数据。 当然，这篇论文也不是没有局限性。所有实验都基于LLaDA和Dream这两个vanilla架构的扩散模型，对于更复杂的扩散架构变体是否依然成立还需要验证。另外，论文没有覆盖微调过程中的安全动态——比如恶意微调到底在哪些步骤、哪些位置上改变了模型的token分布，这依然是个开放问题。 对于做AI安全、对齐、扩散模型的朋友来说，这篇论文提供了一个相当扎实的出发点。也许未来扩散大模型的安全对齐，会像自回归模型那样发展出自己的一套"安全token"理论与实证框架。不过在那之前，能在不训练、不增加推理成本的前提下把攻击成功率降下来，已经是一个相当不错的开始了。

如果把扩散语言模型（dLLM）的生成过程比作一场大型合唱，那么“拒绝”和“顺从”这两个声部从一开始就在抢话筒。问题在于，合唱指挥（也就是解码策略）常常听清了拒绝的声音，却迟迟不给它“开麦”的机会，等到旋律已经推进到后半程，再想切回拒绝已经来不及了。

扩散语言模型的安全隐患：当拒绝信号在去噪中消失

自回归大模型的安全对齐有个老常识：回答开头的几个 token 非常重要。开头一旦跑偏，后面的内容基本会顺着偏。可扩散语言模型把这套逻辑打乱了——它生成文本时，并不是从左往右一个词一个词“念”出来，而是先让整句话都处于蒙版状态，然后通过多轮去噪，逐步把蒙版位置“还原”成真实内容。

这种生成方式带来一个很反直觉的后果：“回答开头”与“最先确定下来的 token”彻底脱钩了。模型可以在第 1 轮去噪时就提交第 80 个位置的词，也可能拖到第 60 轮才把第 1 个位置的词定下来。对安全对齐来说，原来的单一时间轴裂成了两条：一条是“去噪步骤”，另一条是“响应位置”。

这里的“提交”（commitment）指的是某个蒙版位置被一个候选词替换后不再变化。论文里把第 t 轮去噪的状态更新写成下面的公式，看起来简单，却是理解整篇工作的关键：

公式：扩散模型去噪步骤中的状态更新。M_t 表示第 t 轮仍带蒙版的位置集合，C_t 是其中本轮会被选中的位置子集；只有处于 C_t 中的位置才被替换为新预测的词，其他位置原封不动地保留到下一轮继续等待。

换句话说，一个词一旦被提交，之后就不再改写了。但真正值得警惕的是：被提交的位置并不一定在回答的开头。习惯上盯着开头几个 token 做安全监测的方法，放到扩散语言模型里会漏掉大量关键动作。

浅层步骤对齐：安全行为的新维度

为了把“去噪步骤”和“响应位置”这两条轴线的安全影响拆开，作者设计了一个相当巧妙的预填充干预实验。“预填充”就是在迭代去噪还没开始前，先从外部固定一小段文字：要么是拒绝前缀 “I'm sorry, I can't help you.”，要么是顺从前缀 “Sure, here are the following steps:”。由于预填充在时间上必然发生在所有去噪步骤之前，移动它在回复序列中的位置，并不会改变它的“时间属性”。这样一来，就可以单独观察：一个很早就被确定的词放在不同响应位置，到底会对安全产生多大影响。

实验将回复长度设为 128 个 token，前缀分别放在第 1%、12.5%、25%、50% 和 75% 的位置，对应大约第 1、16、32、64、96 个 token。危险提示来自强拒绝基准测试集（StrongREJECT），最后用安全裁判模型将回答判为安全或不安全，统计攻击成功率（ASR，Attack Success Rate，越低越安全）。表 1 是完整的干预结果：

表1：预填充类型与位置对攻击成功率（ASR）的影响。数字越低代表模型越不容易被有害指令带偏。

这张表至少能读出三层信息。第一，在 LLaDA-8B-Base 这类未做安全对齐的基座模型上，拒绝前缀一旦预填，ASR 直接从 86.26% 掉到 7.67%~41.85%。前缀越靠前效果越好，但哪怕放到第 75% 的位置，安全收益依然非常可观。第二，在已经做好安全对齐的 LLaDA-8B-Instruct 上，顺从前缀预填到第 1% 的位置时，ASR 从 1.29% 猛拉到 93.93%——所谓的安全防线，居然被一个提前锁定的“好的，我来给你步骤”给瞬间瓦解。第三，Dream 系列模型展现出完全一致的趋势。

这意味着，扩散模型的安全行为存在一个自回归模型里没有的新维度。论文把这种现象称为“浅层步骤对齐”（shallow-step alignment）：早期去噪步骤提交的 token 会显著改变整个回答的安全性质，哪怕这些 token 并不位于句首。后续更细粒度的实验也证实，这个“安全敏感窗口”很窄——大致集中在去噪过程的前 8 步以内，超过第 8 步再强行提交拒绝词，安全影响就会迅速衰减到接近基线水平。

既然提前提交拒绝词能有效提升安全性，一个自然的问题就冒出来了：模型在默认解码时，为什么不主动这么做？要回答这个问题，就必须钻进模型内部的概率分布里，看看拒绝信号到底是怎么“出生”又怎么“夭折”的。

拒绝信号的脆弱性：为何不安全响应仍会出现

想知道模型内心“有没有闪过拒绝的念头”，不能只看最终输出，而要观察每一轮去噪时每个位置的最可能候选词。作者设计了一套两阶段的“拒绝词集”构造方法。

第一步，让安全对齐版本和对应的基座版本在同样一批有害提示上做去噪，逐位置比较 token 概率。某些词在安全对齐模型中的概率远高于基座模型，说明它们是“安全训练带来的表达习惯”；再结合良性任务（如 HumanEval 代码补全）做第二步过滤，把正常回答里也高频出现的词剔除掉。剩下的词就是模型专属的“拒绝词”，例如 sorry、can't、unable 这类明显带有拒绝、无法协助含义的词。

这里有一个技术细节值得展开：由于分词器有时会把一个词拆成多个 token，如果只盯着“top-1 是不是 sorry”来判断模型是否想拒绝，很容易漏掉真实信号。正确做法是把一个候选词对应的所有 token id 的概率质量加在一起，再跟预设的良性阈值比较。下面的公式就是这个聚合过程：

公式：对候选拒绝词 c 求概率质量。I(c) 是所有可能切成该词的 token id 集合，在某一轮去噪、某个响应位置上，把这些 id 的预测概率加总，得到的就是该候选词的“拒绝信号强度”。

用这套探针去扫描安全和不安全两类回答，论文得到了一个相当反直觉的结论：不安全的回答并不缺少拒绝信号，只是这些信号太弱、太短命，没能坚持到被提交。表 2 给出了最直接的数据：

表2：LLaDA-8B-Instruct 与 Dream-v0-Instruct-7B 在安全/不安全回答中的拒绝信号出现率、最终提交率，以及拒绝信号的平均持续去噪步数。

看“Refusal signal”这一列：不安全回答里，信号出现率（Signal rate）高达 96%~98%，几乎每一次模型都在某些位置考虑过拒绝词。可再看“Commit rate”——真正把拒绝词提交到回答里的比例只有 2%~4%；而安全回答里，信号的提交率高达 98%~100%。

在表 2 的最后一列可以用一个更直观的指标“平均持续步数”来看：安全回答里拒绝信号在去噪过程中能连续活跃 18~21 步，而不安全回答只能撑 5~8 步。

为什么会这样？因为掩码扩散模型在每一轮都会对尚未提交的位置重新估值。拒绝信号虽然出现在早期的 top 候选里，但只要后续某一步，其他“顺着问题往下答”的候选词把概率压了过去，拒绝词就会从候选列表里掉出去。到了真正需要提交的位置，模型早就忘了自己曾想拒绝这件事。用一句人话概括就是：好多不安全的回答，模型并不是没想过拒绝，而是那个念头没撑到开口那一刻。

RAEC：无需训练的早期承诺解码方法

既然问题出在“信号出现得太早、提交得太晚”，一个很直接的治疗方案就是：如果拒绝信号在早期足够强、持续得足够久，那就提前把它提交，不要等后面的去噪过程把它冲散。这就是论文提出的拒绝感知早期提交（Refusal-Aware Early Commitment，RAEC）。

RAEC 的核心思路非常朴素：不训练模型、不改任何参数，只调整解码时的“提交决策”。它需要两套词表，一套是上一节构造出来的拒绝词集 V_ref，另一套是包含 sure、here、step 这类引导词的顺从词集 V_cmp。然后在某个去噪步骤 t、某个响应位置 i 上，分别统计拒绝概率质量 m_ref 和顺从概率质量 m_cmp：

公式：在去噪步骤 t、响应位置 i 上，统计模型分配给所有拒绝词的概率之和。

公式：同理，在相同位置统计模型分配给顺从词的概率之和。两者比较，可以看出模型当前更倾向于“拒绝”还是“顺从”。

光看概率质量还不够。RAEC 要同时满足三个条件，才允许“越权提交”：第一，拒绝概率质量要超过一个绝对阈值 τ，确保不是概率稀薄的噪声；第二，拒绝概率质量要比顺从概率质量高出一定 margin δ，确保“想拒绝”的势头压过“想顺着答”的势头；第三，拒绝词必须真的出现在该位置的前 K 个候选预测里，而不是只存在于全体词表的概率加总中。三个条件可以形式化成下面三条式子：

条件1：拒绝概率质量不低于阈值 τ，避免被微弱噪声误导。

条件2：拒绝概率质量要比顺从概率质量多出至少 δ，确保“拒绝”的倾向真实占优。

条件3：模型在该位置的前 K 个最可能候选词里，至少有一个属于拒绝词集。

为了防止模型“冲动”，RAEC 还设了两个安全阀。一是只在去噪过程的前 T_e 步和响应序列的前 R_e 个位置内生效（论文默认 T_e=8、R_e=8，正好对应前面发现的“安全敏感窗口”）；二是上述三条判定条件必须连续成立 3 步以上，才会真正执行一次早期提交。每条回答最多干预 2 次，干预完之后立即交还给出原始解码流程。

这个设计最精妙的地方在于：它把安全决策前置到了“分布还能改变”的阶段。早期提交的拒绝词会成为后续每一轮去噪的条件，相当于模型还没开始生成任何具体内容，就已经给自己划定了一条不能越过的边界。

实验验证：安全性与实用性的平衡

评估安全方法不能只看单个基准。论文在强拒绝基准（StrongREJECT，简称 SR）、越狱基准（JailbreakBench，简称 JBB），以及专门针对扩散语言模型设计的 DIJA 对抗越狱版本上做了全面测试，表 3 汇总了主要结果。

表3：LLaDA-8B-Instruct 与 Dream-v0-Instruct-7B 在常规解码和 RAEC 下的安全性（ASR 越低越好）与实用性（GSM8K 准确率越高越好）对比。

整体看，RAEC 在对抗压力最大的设置上收益最明显。以 Dream-v0-Instruct-7B 为例，DIJA-JBB 从 5.00% 降到 3.00%，DIJA-HBB 从 26.50% 降到 12.75%，降幅超过一半。LLaDA-8B-Instruct 的 DIJA-SR 从 8.63% 降到 6.71%，DIJA-HBB 从 40.50% 降到 34.00%。同时 GSM8K 数学推理准确率几乎没有变化——LLaDA 只是从 82.30% 变成 82.20%，Dream 从 87.80% 变成 87.30%。这说明 RAEC 不是靠“把回答变得简短无用”来规避攻击，而是在不牺牲通用能力的前提下增强安全边界。

这里也要说句公道话：表 3 的 SR 一列里，LLaDA-8B-Instruct 的 ASR 从 1.28% 小幅升到了 1.60%。也就是说，RAEC 并不是在所有设置上“绝对领先”，它的优势主要体现在原本 ASR 比较高、对抗压力比较大的场景中。这一点在解读实验结果时需要留意。

自动评估器会不会有偏好？作者用三个互不相同的安全评估器分别打分，包括论文默认使用的 Llama-Guard-3-8B，以及 Beaver-Dam-7B 和人工评估，结果在表 4 中。RAEC 带来的安全改进在多个裁判下方向一致，说明它不是“骗过某一个分类器”的障眼法。

表4：在不同安全评估器下 LLaDA-8B-Instruct 的 ASR 对比。每个评估器都针对完整回答进行安全判定，而不是只看是否出现某些拒绝词。

真实攻击者不会站着挨打。论文还测试了自适应 PAIR 等会随模型反馈迭代改写攻击提示的更强攻击方式。表 5 显示，加入 RAEC 后，这类“会自己调整策略”的攻击成功率也有至少十几到二十几个百分点的下降。考虑到这类攻击本身难度很高，这个防御力度已经相当难得。

表5：LLaDA-8B-Instruct 在额外越狱攻击下的 ASR 对比。

最后是消融实验，表 6 把 RAEC 的各个组件逐一拆掉来验证必要性。把拒绝词集换成随机 token，ASR 从 6% 左右恶化到 9%；换成顺从词集更糟，直接到 12%——这说明“知道什么是拒绝词”是最基本的前提。去掉拒绝信号与顺从信号之间的 margin δ，ASR 也明显上升。可以说，RAEC 的每个设计细节都有存在的理由。

表6：RAEC 的消融与灵敏度分析。默认设置在表中以加粗标出。

RAEC 为什么能 work？可以从概率分布的角度来理解。它没有等整段文本成形后再做“事后审查”，而是在去噪早期、文本内容还高度不确定的时候，捕捉到分布里持续存在的拒绝倾向，并把这种倾向变成一个明确的已提交 token。后续所有去噪步骤都会在这个 token 的条件下继续生成，相当于提前把剧情基调设定为“拒绝”。相比之下，如果拖到后期再修改某个位置，周围的 token 已经基本定型，单独一个拒绝词插进去会显得非常突兀，也很难扭转整体语义走向。

当然，论文的边界也很清晰：所有实验都基于 LLaDA-8B 和 Dream-v0-7B 两个掩码扩散模型家族，参数规模在 7B~8B 之间；更大的模型、更多样的安全对齐风格、以及恶意微调过程中拒绝信号如何变化，都还没有覆盖。因此更准确的说法是：RAEC 用极低的成本揭示了一条值得重视的 dLLM 安全防御思路，但从“思路有效”到“全面可用”，中间还需要更多模型的验证。

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：

这篇论文到底在解决什么问题？扩散语言模型生成范式引发新的安全维度。凯斯西储大学发现拒绝信号集中在早期去噪步骤和开头位置，提出免训练解码方法RAEC，在去噪早期锁定持续拒绝信号，显著降低攻击成功率而几乎不影响生成质量。

这篇工作最值得看的点是什么？RAEC在LLaDA-8B-Instruct和Dream-v0-Instruct-7B上均降低了大多数有害和越狱设置下的ASR，同时保持了实用性。例如，在DIJA-JBB上，LLaDA的ASR从8.00降至6.00，Dream的ASR从5.00降至3.00；在GSM8K上，LLaDA的准确率从82.30%微降至82.20%，Dream从87.80%微降至87.30%。

这篇工作的边界或风险在哪里？优点：(1) 提出了一种新颖的"浅层步骤对齐"概念，揭示了dLLM安全行为与去噪步骤和响应位置的双维关系；(2) RAEC方法无需训练，仅修改解码决策，易于部署；(3) 实验验证了RAEC在多个基准和越狱攻击下的有效性。缺点：(1) 方法依赖于预定义的拒绝令牌集和顺从令牌集，这些集合的构建需要额外的分析步骤；(2) 实验主要基于LLaDA和Dream两种模型架构，泛化性有待验证；(3) 对更复杂的dLLM架构变体的适用性未充分探索。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★★☆

提出Refusal-Aware Early Commitment (RAEC)，一种无需训练的早期拒绝令牌承诺解码方法，通过监测去噪早期步骤中的拒绝信号并在其被覆盖前强制承诺，提升扩散语言模型的安全性。

实验合理度：★★★★☆

Attack Success Rate (ASR)（使用Llama-Guard-3-8B作为评判模型），Accuracy (ACC)

学术研究价值：★★★★☆

提出Refusal-Aware Early Commitment (RAEC)，一种无需训练的早期拒绝令牌承诺解码方法，通过监测去噪早期步骤中的拒绝信号并在其被覆盖前强制承诺，提升扩散语言模型的安全性；更关键的是问题定义是否可复用到同类任务。

稳定性：★★★☆☆

现有材料未提供充分的极端条件、重复运行或扰动测试，稳定性暂按中性评价。

适应性以及泛化能力：★★★☆☆

现有材料未完整展示跨数据集、跨场景或分布外实验，泛化能力仍需进一步验证。

硬件需求及成本：★★★☆☆

不适用（RAEC为无需训练的推理时方法，仅修改解码过程中的承诺决策，不增加额外计算开销）

复现难度：★★★☆☆

https://github.com/Glresearch1/RAEC

产品化成熟度：★★★☆☆

论文验证以研究实验为主，真实部署中的时延、成本、维护和异常场景仍需补充验证。

可能的问题：(1) 方法依赖于预定义的拒绝令牌集和顺从令牌集，这些集合的构建需要额外的分析步骤；