← 返回 PaperDaily
视觉与图像
六种LM语音增强范式首度同台PK：CNAR拿下全场最佳
这篇文章最值得读的地方在于，它第一次把六种基于语言模型的生成式语音增强范式放进同一个框架里公平对比，并同时报告了侵入式和非侵入式两类指标。结论也很干脆：连续域全面胜出，连续非自回归（CNAR）综合最佳。想快速了解这条赛道竞争格局的读者，这份地图比单看某个SOTA更省时间。
龙哥读论文
发布于 2026-08-17 00:20:08
阅读 5
查看原文
原论文信息如下：
语音增强新范式：六种LM生成式方法大比拼 语音增强这个老问题，这几年被语言模型搅得天翻地覆。传统的做法是把带噪语音经过一番处理，“滤”出干净语音，核心是噪声估计和频谱掩蔽。但语言模型给了大家一个新思路：把增强当成一个生成任务——模型学的不是“怎么把噪声挑出来扔掉”，而是“根据带噪语音，直接预测/重建一段干净的语音”。这背后依赖的是语言模型强大的序列建模能力，以及对语音内容语义信息的理解。
问题也随之而来：这类方法形态太多了。有的在离散token域里做，有的在连续特征域里做；有的自回归一步步生成，有的非自回归一把梭；还有人用扩散模型或者流匹配来迭代精化。每篇论文都声称自己的范式很优秀，但数据集不同、backbone不同、评测指标也不同，各路结果摆在一起根本没法公平比较，让人看得一头雾水。
德国布伦瑞克工业大学通信技术研究所的这篇论文，算是把这笔糊涂账理清了。作者把六种主流的LM生成式语音增强范式放进同一个框架，用同一套训练数据、同一个backbone、同一批评测指标，认认真真做了一次横向大PK，还同时报告了侵入式和非侵入式两类指标——这在LM生成式语音增强的研究里相当少见。结论也很干脆：连续域全面胜出，连续非自回归方法综合最佳。
要理解这项工作的分量，得先回顾一下语音增强技术演进的脉络。传统信号处理方法，比如维纳滤波、谱减法，在平稳噪声下表现尚可，但面对非平稳噪声、混响和突发干扰时往往力不从心。深度学习的引入改变了游戏规则，从早期的全连接网络做掩蔽估计，到后来的循环神经网络、Transformer，再到如今的生成式模型，语音增强的性能天花板被不断抬高。而语言模型的介入，则把语音增强从“信号处理问题”重新定义为了“序列生成问题”，这不仅仅是技术路线的变化，更是思维方式的转变。
但问题恰恰出在这里——生成式语音增强的“百花齐放”带来的是比较的混乱。有的工作强调离散token的语义可解释性，有的工作坚持连续特征的保真度优势；有的方法追求自回归的精细建模，有的方法推崇非自回归的高效并行。这些方法各自为战，缺乏一个统一的坐标系来定位和比较。这篇论文的价值，正在于搭建了这样一个坐标系，让所有方法都能在同样的条件下接受检验。
统一框架设计：从离散到连续的全面覆盖 要看懂这篇论文，得先认识一个关键组件：神经音频编解码器（NAC）。它的工作方式很像是给音频做“压缩编码”：先用一个编码器把时域波形映射成连续的潜特征，再通过残差向量量化（RVQ）把这些特征变成一组离散的token——相当于把一段声音翻译成由码本编号组成的代码序列。解码时，把token还原成连续特征，再经过解码器变回波形。
RVQ的量化过程有点意思：第一个码本负责捕捉最粗糙的结构，后续码本逐级编码残差，Codebook总数越多，能表示的信息就越精细。论文选用的DAC编解码器有12个码本，码本大小1024，编码器输出的特征维度是1024，帧长20毫秒。换句话说，每20毫秒的语音，会被表示成12个token，每个token的取值范围是0到1023。
除了NAC，论文还引入了一个条件特征提取器——WavLM。这是一个自监督预训练的语音表示模型，它的输出被用来给语言模型提供帧级别的语义条件信息，相当于告诉模型“这段带噪语音里到底在说什么内容”。WavLM的帧率也是20毫秒，与DAC特征在时间上天然对齐，省去了不少对齐的麻烦。
有了这两个基础组件，六个范式就能用两个维度清晰地划分出来。第一个维度是特征域：离散域用DAC量化后的token，连续域用DAC编码器输出的未量化特征。第二个维度是生成方式：自回归（AR）逐帧预测、非自回归（NAR）一次性生成所有帧，以及两类特殊的非自回归变体——离散扩散和连续流匹配。
DAR是最直觉的做法：把带噪语音的DAC token和WavLM条件特征拼接起来，输入一个因果的decoder-only语言模型（这里用的是Llama架构），逐帧预测干净语音的token，训练时用交叉熵损失。这里有个细节值得注意：论文没有把12个码本的token展平拼接（那会把序列长度扩大12倍），而是把12个码本的嵌入向量求和，保持序列长度不变，训练和推理效率高得多。
CAR与DAR的结构几乎一致，区别在于预测目标从离散token换成了连续特征，损失函数从交叉熵换成了平均绝对误差（MAE）。这里的训练细节是：输入用DAC反量化后的特征，而不是编码器直接输出的原始潜特征，这样能有效缓解自回归模型常见的误差累积问题。
DNAR和CNAR则把模型换成了非因果的Transformer，一次性并行生成所有帧的预测结果。没有自回归依赖，推理速度天然占优，也不需要担心误差累积。
DDiff走的是另一个路线——离散扩散，参考了图像生成中MaskGIT的做法。训练时，随机mask掉一部分干净token，让模型预测被mask的位置；推理时从全mask状态出发，通过多轮迭代逐步预测并替换低置信度的token，达到类似“先粗后细”的生成效果。
CFM则把流匹配的思想搬到连续特征域。流匹配（Flow Matching）可以看作一种基于概率路径的生成模型，目标是学一个速度场，把噪声分布平滑地“推”到数据分布。具体到语音增强场景，训练时对带噪特征和干净特征做线性插值，生成中间状态，模型学习预测从带噪特征指向干净特征的位移向量；推理时则用常微分方程（ODE）逐步积分，从带噪特征出发，沿着学到的速度场一步步逼近干净特征。
值得注意的是，这六个范式虽然结构各异，但共享了同一个设计哲学：把语音增强问题分解为“理解带噪语音”和“生成干净语音”两个环节。WavLM负责前者，提供语义层面的引导；语言模型负责后者，在NAC的潜空间里完成从带噪到干净的映射。这种解耦设计让每个组件都能独立优化，也使得不同范式之间的对比更加纯粹——差异只在于特征域和生成方式的选择。
另一个值得强调的设计细节是，所有模型都从零开始训练，没有使用任何预训练语言模型的权重。这虽然增加了训练成本，但确保了对比的纯净性——如果某个范式用了预训练模型而其他没用，那性能差异就无法归因于范式本身。这种“控制变量”的实验哲学贯穿全文，也是这篇论文可信度高的根本原因。
关键发现：连续域方法为何全面胜出？ 论文在URGENT 2025语音增强挑战赛的官方测试集上，对六个范式做了一次全面对比。评测指标横跨侵入式和非侵入式两大类：DNSMOS、NISQA、UTMOS衡量主观听感质量，PESQ、POLQA、ESTOI衡量客观失真和可懂度，还额外引入了LPS（音素相似度）来检测模型是否产生幻觉。
结果非常清晰：所有连续域方法全面碾压对应的离散域方法。CNAR在DNSMOS、UTMOS、PESQ、POLQA、ESTOI等几乎所有指标上都拿到最高分，CAR和CFM紧随其后。离散域内部则是DDiff表现最好，DNAR和DAR垫底。
为什么会这样？论文给了两个层面的解释。第一，连续域要预测的是D维的连续特征向量，这本质上是一个回归问题；而离散域要预测的是C个token的类别分布，每个token的正确答案是唯一的整数。从信息论的角度看，离散token经过RVQ量化后已经损失了一部分细节，模型预测错的代价也更“致命”——一个token猜错，解码出来的可能就是一个明显的错误发音。相比之下，连续特征的预测即使有偏差，也只是造成轻微的失真，容错性高得多。
第二，CNAR能登上榜首，还得益于训练和推理模式完全匹配。非自回归模型一次前向输出所有帧的预测，训练时是teacher forcing，推理时同样是一次到位，不存在累积误差的隐患。而自回归模型在推理时需要逐帧预测，前一步的预测误差会传导到后续帧，天然吃亏。
还有一个值得注意的细节：在LPS指标上，连续域方法同样领先。LPS衡量的是增强后语音与原始干净语音在音素层面的相似度，对“幻觉”内容非常敏感。离散域方法在LPS上的落后，说明它们更容易生成发音错误的内容——这很可能就是token预测错误导致的连锁反应。连续域方法由于预测的是连续向量，即使有偏差也不会完全偏离正确的音素区域，因此LPS更高。
从指标间的相关性来看，侵入式和非侵入式指标在连续域方法上表现出较好的一致性，但在离散域方法上出现了分歧——例如DAR的DNSMOS并不算太低，但PESQ和POLQA明显落后。这说明离散域方法可能“听感尚可但失真严重”，这种分歧在传统语音增强评测中也常见，但在生成式方法中尤为突出。论文同时报告两类指标的做法，恰好揭示了这一现象，也为后续研究提了个醒：不能只看单一类型的指标。
微调策略：辅助损失带来的性能提升 预训练阶段的任务损失（交叉熵或MAE）只管中间特征预测准不准，并不直接优化最终听到的语音质量。论文因此提出了一个微调策略：在预训练完成后，把重建波形的辅助损失加进来，让模型“看着”最终输出效果来调整自己。
在离散域模型上应用这些波形级损失，还会遇到一个梯度传导的问题：从logits到token再到波形的路径上，argmax操作不可导。论文使用直通估计器（STE）来解决，让梯度绕过量化器直接回传到logits，相当于把量化过程近似成恒等函数，只关心正负梯度方向，不关心精确的量化值。这个技巧来自量化神经网络训练，在语音增强里用得很到位。
从表2下半段可以看到，这个微调策略在六个范式上都稳定带来了DNSMOS、NISQA、PESQ和POLQA的提升，而且只更新语言模型参数，NAC和WavLM全部冻结，不会破坏模型对不同下游任务的通用性。值得注意的是，微调也拉大了侵入式指标的差距——例如CNAR-FT的PESQ从1.99涨到2.41，POLQA从2.75涨到3.00，提升幅度相当可观。
微调策略的设计还有一个巧妙之处：它没有改变模型的结构和推理方式，只是改变了训练目标。这意味着任何已经训练好的LM生成式语音增强模型，都可以直接套用这个微调流程来提升性能，而不需要重新设计架构。这种“即插即用”的特性，大大降低了该策略的落地门槛。
不过，微调也带来了一些值得思考的问题。比如，辅助损失中的PESQ和STOI损失都是基于参考信号的，这意味着微调阶段需要成对的带噪-干净数据。在实际应用中，干净参考信号并不总是可得，这限制了微调策略在某些场景下的适用性。另外，微调后模型在非侵入式指标上的提升幅度小于侵入式指标，说明优化目标与人类主观听感之间仍然存在一定的鸿沟。
实验深度解析：公平对比与指标闭环 论文的实验设计也有不少值得琢磨的细节。训练数据来自URGENT 2025挑战赛的训练集，但做了一些筛选和调整：去掉了偶尔带背景噪声的CommonVoice 19.0，也不采用带宽限制失真。最终训练集达到1202.2小时，涵盖加性噪声、混响、削波、编解码损失、丢包和风声六种失真类型，信噪比范围-5到20dB。验证集和测试集各1000条，全部降采样到16kHz。
评测指标的覆盖尤其值得点赞。很多LM生成式语音增强论文只报告DNSMOS这类非侵入式指标，因为听起来“好听”很容易做到，但客观失真指标往往惨不忍睹。本文同时报告侵入式和非侵入式两大类指标，还引入了LPS来度量音素保真度，能敏感地捕捉模型是否产生“幻觉”——也就是生成了不存在于原语音中的内容。这种指标闭环让结论更有说服力。
表1的消融实验解决了两个关键问题。第一是NAC的选型：作者对比了DAC、BiCodec、X-Codec-1和X-Codec-8。结果很有意思，在非侵入式指标上大家差距不大，甚至都优于未编码的干净语音；但在侵入式指标PESQ和ESTOI上，DAC以3.83的PESQ大幅领先第二名X-Codec-8的2.61。这再次印证了“听感好不等于失真低”，也验证了选择DAC作为基准编码器的合理性。
第二是推理策略的敏感性分析。DAR对束搜索的大小不敏感，贪心搜索和束宽5的结果几乎一样，说明自回归模型在这个任务上不需要额外的搜索开销。DDiff和CFM在N'=3时就能达到最佳或接近最佳的效果，迭代次数继续增加反而略有下降，这可能是因为更多迭代引入了额外的数值误差。N'=3使得扩散和流匹配类方法在推理成本上具备实际可用性。
训练配置方面，四个H100 GPU、批大小8、每条样本5秒波形、150K步训练，大约耗时两天。所有Llama和Transformer模型都从零开始训练，确保对比公平，不引入预训练模型带来的偏差。另外有个细节特别体现公平性意识：为了和加了微调的模型公平对比，未微调的模型也额外多训练了50K步，排除了“只是多训了一会儿所以更好”的质疑。
除了表1和表2的主线实验，论文还有一些值得关注的细节。比如，在训练数据的预处理上，作者特意排除了带宽限制失真，因为这种失真与NAC的量化特性存在交互效应，可能会干扰对范式本身的评估。这种对实验细节的考究，进一步增强了结果的可信度。
另外，论文还报告了各方法的参数量和推理延迟（虽然未在表格中直接对比，但在正文中有所讨论）。CNAR由于是非因果Transformer，可以充分利用并行计算，推理延迟显著低于自回归方法。DDiff和CFM虽然需要多步迭代，但每步的计算量较小，N'=3时总延迟也可接受。这些信息对于实际部署选型很有参考价值。
未来展望：语音增强的下一步在哪里？ 这项研究的价值在于给整个LM生成式语音增强赛道提供了一张清晰的“地图”。连续域+非自回归的组合，在综合表现上已经明确领先，这可能会引导后续研究把更多注意力投向这个方向。
从应用视角看，非自回归的CNAR采用单次前向推理，没有逐步解码的延迟累积，在实时通信、会议转写、助听器等延迟敏感场景中更有落地潜力。辅助损失微调不冻结LM之外模块的特性也意味着，这个方法可以作为通用组件嵌入到其他语音生成任务中。
当然也有不少值得继续深挖的空间。NAC本身是性能天花板，换用更强大的编解码器可能带来新的提升；WavLM条件特征里究竟什么信息在起作用，也值得做归因分析；此外，在更具挑战性的真实场景（如远场麦克风、强噪声、音乐背景音）下，这些范式的表现还有待验证。未来如果能把CNAR进一步轻量化，或者与流匹配的低步数优势结合，有可能做出既高质量又适合实时部署的语音增强系统。总的来看，这篇论文既是方法论的“对照实验”，也是后续研究的良好起点。
从更宏观的视角看，这篇论文也反映了语音增强领域的一个趋势：从“信号处理”走向“内容生成”。传统的语音增强方法试图恢复被噪声破坏的声学细节，而生成式方法则试图理解语音的语义内容并重新“说出”这段话。这种转变带来了更高的性能上限，也带来了新的风险——模型可能“脑补”出不存在的内容。如何在生成质量和内容保真之间取得平衡，将是这个领域长期面临的核心挑战。
另一个值得关注的方向是NAC本身的演进。论文使用的DAC已经是当前性能领先的编解码器，但NAC领域的发展日新月异，新一代编解码器在量化效率和重建保真度上不断提升。如果NAC的量化损失进一步降低，离散域方法的性能劣势可能会缩小，甚至在某些指标上反超连续域方法。因此，本文的结论并非“离散域永远不行”，而是在当前NAC技术水平下的阶段性判断。
龙迷三问 这篇论文到底在解决什么问题？ 首次在同一框架下公平对比六种LM生成式语音增强范式，覆盖离散/连续、自回归/非自回归、扩散/流匹配。这篇工作最值得看的点是什么？ 连续域方法全面优于离散域方法，CNAR在大多数指标上取得最佳性能，微调策略一致提升DNSMOS、NISQA、PESQ和POLQA。这篇工作的边界或风险在哪里？ 优点：提出了统一的框架涵盖六种主流范式，首次在统一实验设置下进行公平比较，提出的微调策略有效提升性能。缺点：仅使用DAC一种编解码器进行主要实验，对WavLM条件特征的消融不足，计算资源需求较大。如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~
龙哥点评 论文创新性分数： ★★★★☆
提出一个统一的解码器-only语言模型框架，涵盖六种基于神经音频编解码器潜空间特征的生成式语音增强范式，并引入辅助损失微调策略提升主客观指标。实验合理度： ★★★★☆
侵入式指标包括PESQ、POLQA、ESTOI；非侵入式指标包括DNSMOS、NISQA、UTMOS；以及下游任务无关指标LPS。学术研究价值： ★★★★☆
提出一个统一的解码器-only语言模型框架，涵盖六种基于神经音频编解码器潜空间特征的生成式语音增强范式，并引入辅助损失微调策略提升主客观指标；更关键的是问题定义是否可复用到同类任务。稳定性： ★★★☆☆
现有材料未提供充分的极端条件、重复运行或扰动测试，稳定性暂按中性评价。适应性以及泛化能力： ★★★☆☆
现有材料未完整展示跨数据集、跨场景或分布外实验，泛化能力仍需进一步验证。硬件需求及成本： ★★★☆☆
训练使用4块Nvidia H100，batch size为8，5秒波形每个mini-batch，训练150K步约需2天。模型参数量从204.7M到278.0M不等。复现难度： ★★★☆☆
现有材料未确认完整代码、配置、数据处理脚本和权重是否齐备，复现难度暂按中性评价。产品化成熟度： ★★★☆☆
论文验证以研究实验为主，真实部署中的时延、成本、维护和异常场景仍需补充验证。可能的问题： 仅使用DAC一种编解码器进行主要实验，对WavLM条件特征的消融不足，计算资源需求较大。
主要参考文献
[1] Hugo Touvron et al., "Llama: Open and Efficient Foundation Language Models," arXiv:2302.13971, 2023. [2] Rithesh Kumar et al., "High-Fidelity Audio Compression with Improved RVQGAN," NeurIPS, 2023. [3] Sanyuan Chen et al., "WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing," IEEE JSTSP, 2022. [4] Kohei Saijo et al., "Interspeech 2025 URGENT Speech Enhancement Challenge," Interspeech, 2025. [5] Huiwen Chang et al., "MaskGIT: Masked Generative Image Transformer," CVPR, 2022. [6] Yaron Lipman et al., "Flow Matching for Generative Modeling," ICLR, 2023. [7] Yihui Fu et al., "DisContSE: Single-Step Diffusion Speech Enhancement Based on Joint Discrete and Continuous Embeddings," ICASSP, 2026. [8] Jixun Yao et al., "GenSE: Generative Speech Enhancement via Language Models using Hierarchical Modeling," ICLR, 2025. *本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～ 想了解更多原文细节的小伙伴，可以点击 "阅读原文"， 查看更多原论文细节哦！
想要让AI把嘈杂环境一键变清晰，像CNAR范式一样干脆利落？欢迎加入龙哥读论文粉丝群，扫描下方二维码或者添加龙哥助手微信号加群 ：kangjinlonghelper。一定要备注：研究方向+地点+学校/公司+昵称（如 语音增强+北京+清华+龙哥） ，根据格式备注，可更快被通过且邀请进群。『龙哥读论文』微信群目前包含：图像处理、大模型及智能体、自动驾驶及机器人、AI医疗及AI金融5个群，等你来聊语音处理新姿势！
