← 返回 PaperDaily 视觉与图像

语音增强新范式：FiLM注入SSL特征，实时也能做到

还在为扩散模型生成的语音不够自然、遇到噪声就“懵圈”而头疼吗？马里兰大学团队这次直接把自监督学习的“语言学耳朵”——Wav2Vec2，装进了扩散模型的U-Net里。效果拔群，PESQ直接飙升0.4，让AI在降噪时更懂你说的是什么，而不是无脑涂抹。

龙哥读论文 阅读 3 查看原文
#AI应用 #模型架构
语音增强新范式：FiLM注入SSL特征，实时也能做到
🐉 龙哥读论文知识星球来了！
公众号每日8篇拆解不够看？星球无上限更AI领域论文、资讯、招聘、招博、开源代码，一站式干货，每日2分钟刷完即赚！ 👇扫码加入「龙哥读论文」知识星球，前沿干货、实用资源一站式拿捏～ xingqiu_header

龙哥推荐理由：
还在为扩散模型生成的语音不够自然、遇到噪声就“懵圈”而头疼吗？马里兰大学团队这次直接把自监督学习的“语言学耳朵”——Wav2Vec2，装进了扩散模型的U-Net里。效果拔群，PESQ直接飙升0.4，让AI在降噪时更懂你说的是什么，而不是无脑涂抹。


原论文信息如下：
论文标题:
Bridging Self-Supervised Learning and Speech Enhancement: A Wav2Vec2-Conditioned Framework
发表日期:
2026年06月
发表单位:
马里兰大学帕克分校 (University of Maryland, College Park)

当扩散模型“听”懂语音：Wav2Vec2为语音增强注入语言学指导

说起语音增强（Speech Enhancement, SE），大家可能最先想到的是那些能把嘈杂语音变清晰的AI。传统的判别式方法，比如时频掩码、复频谱映射，虽然有效，但经常产生过平滑的输出，还容易带来可听伪影，尤其是在低信噪比（SNR）条件下。扩散模型（Diffusion Models）通过学习逆噪声过程，能生成更自然的语音，但它们有一个致命缺点——缺乏语言学指导。模型只是在“画画”，并不知道你说的是“龙哥”还是“二哥”。
马里兰大学团队指出，自监督学习（SSL）模型比如wav2vec 2.0（一种自监督语音表征学习模型，由Meta AI提出）能够从语音中提取丰富的音素和语言学特征，即使在噪声环境下依然保持信息。于是他们想：如果能让扩散模型“听”懂这些语言学特征，那降噪岂不是能更智能？
这篇论文就提出了一个简单优雅的方案：把wav2vec 2.0特征作为条件，注入到扩散SE模型中。具体来说，他们选择在U-Net的瓶颈层（bottleneck）通过特征线性调制（Feature-wise Linear Modulation, FiLM）来注入。这样一来，扩散过程就能在语音学知识的引导下，有方向地恢复干净语音，而不是盲目去噪。
在深入技术细节之前，我们先回顾一下扩散模型在语音增强中的基础框架——StoRM（Stochastic Regeneration Model，一种基于分数的扩散语音增强模型）。StoRM采用基于分数的扩散框架，在复数STFT域操作。其前向过程定义了从干净语音x₀和带噪观测y到中间变量xₜ的扰动核：
StoRM前向过程公式
图：StoRM前向过程公式。其中γ控制向带噪信号衰减的速率，σ(t)²是单调递增的方差调度。
这个公式描述了从干净语音x₀和带噪观测y逐步混合的过程。逆向过程则通过训练一个得分网络s_θ(x_t,y,t)来近似，最终在推理时求解反向随机微分方程（SDE）得到增强波形。本文直接基于这个框架，将wav2vec 2.0特征作为额外条件注入。

巧妙融合：如何在U-Net瓶颈层通过FiLM实现低成本条件注入

进入核心：具体怎么把wav2vec 2.0特征塞进U-Net呢？本文采用特征线性调制（FiLM）。FiLM本质上一个仿射变换：γ⊙h + β，其中γ和β是从条件信号中预测出来的。这样就能对U-Net瓶颈层的特征图进行通道级的缩放和偏移。
步骤是这样的：
第一步：使用预训练并冻结的wav2vec 2.0 base模型从带噪波形中提取特征。wav2vec 2.0包含多层的卷积特征编码器和Transformer编码器，输出的最后一层Transformer特征序列W ∈ R^{L×768}，L是帧数（20ms帧率），768是特征维度。
第二步：一个三层的全连接网络（FiLM生成器）将这个特征投影到瓶颈特征空间，从R^{L×768}压缩到R^{2×T'×C}，其中T'是时间维度（经过下采样后），C是通道数（32或128）。这个2代表γ和β两个分量。
第三步：使用一个关键技巧——时间平滑（后面详细讲），将序列压缩成单个γ̃和β̃，大小都是R^{1×C}。最后在瓶颈层进行FiLM操作：
FiLM调制公式
图：FiLM调制公式。γ̃和β̃是平滑后的缩放和偏移参数，h是瓶颈特征，h̃是调制后的特征。
为什么只在瓶颈层注入？论文通过消融实验（表5）发现，如果同时在编码器层也注入FiLM，性能反而下降。这是因为编码器层处理的是细粒度的谱-时细节，高层次的语义调制会干扰它们；而瓶颈层本身就是最抽象、最压缩的表征，与wav2vec 2.0特征的自然对齐。只调制瓶颈层还能把计算开销降到最低——几乎可以忽略不计。

理论支撑的“记忆”策略：指数移动平均如何优化条件信号

刚才提到了时间平滑。为什么需要平滑？因为FiLM生成器输出的γ和β序列是时间帧级别的，但瓶颈特征只有一个时间步（经过下采样后可能只有一个时间点）。我们需要一个策略来聚合整个序列为一个有效的条件向量。
本文没有随便选个平均，而是从理论上寻找最优的因果聚合策略。他们建立了一个线性高斯状态空间模型：假设每个FiLM系数c_n（代表某个通道的γ或β）背后有一个真实的语音学状态c_n，它遵循随机游走（c_n=c_{n-1}+w_n），而观测到的投影系数c̃_n是带噪声的观测（c̃_n=c_n+v_n）。
在这个模型下，最小均方误差（MMSE）因果估计器就是卡尔曼滤波器。稳态时，卡尔曼增益趋于常数K*，滤波器简化为指数移动平均（EMA）：
EMA公式
图：指数移动平均公式，α∈(0,1)是平滑系数。
这就从理论上证明了，在因果约束下，指数移动平均（Exponential Moving Average, EMA）是最优的聚合方式。简单来说，就是用一个带遗忘因子的加权平均，越近的帧贡献越大。
那么α怎么选？论文通过消融实验（表3）在VB-DEMAND上测试了不同的α值，发现较高的α（即更大幅度的平滑）通常带来更好的PESQ分数。最终，所有实验采用α=1，即完全保留上一帧的状态，不做更新（实际上α=1意味着ĉ_n = ĉ_{n-1}，即保持常数，对时序变化不敏感。但α=1不代表均值池化？表3中α=1.00的PESQ最好。这可能是因为语音学特征在时间上相对稳定，更大程度的平滑减少了噪声的影响。同时，论文还比较了均值池化（Mean Pool），发现指数平均在侵入式和非侵入式指标之间取得了更好的平衡。
表3：平滑系数α消融实验（PESQ分数）
表3：不同α下的PESQ分数（VB-DEMAND，128通道）。可见α=1.00时各信噪比下得分最高或接近最高。
插图

实验全解析：PESQ提升0.4，噪声抑制更聪明

好了，方法论讲完了，是骡子是马拉出来遛遛。论文在VoiceBank-DEMAND（VB-DEMAND）和LibriMix两个基准上进行了评测。
VB-DEMAND是语音增强的标准测试集，包含28个说话人的训练集（11572条）和2个说话人的测试集（824条），噪声类型未见。LibriMix则基于LibriSpeech和WHAM！噪声，本文用的是单说话人Libri1Mix，100小时训练数据，3000条测试。
主要结果如表1和表2所示：
表1：VB-DEMAND测试集侵入式指标（PESQ, STOI, SI-SDR）
表1：VB-DEMAND测试集上的侵入式指标（PESQ, STOI, SI-SDR）。粗体最优，下划线次优。
表2：DNSMOS非侵入式指标（SIG, BAK, OVRL）
表2：VB-DEMAND测试集上的DNSMOS非侵入式指标（SIG, BAK, OVRL）。
从表1可以看出，本文的128通道模型（OURS-128）相比基线StoRM-128，PESQ从2.4862提升到2.8742，足足提升了0.388，接近0.4！STOI也有提升（0.8571→0.8673）。不过SI-SDR略有下降（18.5656→17.9844），论文解释这是由于模型趋向于更激进地抑制噪声，有时会牺牲一些语音细节，但听感质量（DNSMOS）反而提升了。表2的DNSMOS中OURS-32的OVRL达到了3.359，超过所有基线。
在LibriMix上的结果（表6）更惊艳：
表6：LibriMix测试集结果（32通道）
表6：LibriMix测试集上32通道配置的结果。OURS-32在所有指标上大幅超越StoRM-32，PESQ从1.6385提升到2.0099，提升0.37；SI-SDR也提升了2.3dB。
这证明了wav2vec 2.0的语音学条件在更难的混响+噪声场景下尤其有效。
我们再来看看语谱图（图1）的直观对比：
图1：语谱图对比——(a)基线StoRM-128 (b)本文OURS-128 (c)干净语音真值
图1：LibriMix测试集一条语音的语谱图。(a)基线StoRM-128，(b)本文OURS-128，(c)干净语音真值。可见本文模型在保持谐波结构、抑制背景噪声方面明显优于基线。
从语谱图可以清楚看到，基线模型在中等频率区域存在明显的频谱模糊和过平滑，而本文的FiLM模型恢复了清晰的共振峰轮廓，语音-非语音边界也更加锐利。这就是“语言学指导”带来的好处——模型知道哪里是语音，应该保留细节；哪里是噪声，应该抹掉。

速度与精度如何兼得？32通道轻量版也能实时运行

对于实际应用，推理速度至关重要。扩散模型通常需要多次迭代反向采样，计算量巨大。但本文巧妙地将大部分计算开销归于U-Net本身，而wav2vec 2.0特征提取和FiLM生成器几乎不增加负担。
具体数字：对于128通道配置，U-Net单次前向传播312 GFLOPs，30步迭代共9360 GFLOPs。wav2vec 2.0 base对于1秒语音只需要13.27 GFLOPs，且是一次性计算，仅占OURS-128总计算量的0.1%。FiLM生成器更是仅有0.0058 GFLOPs/秒，可以忽略不计。
表4给出了实际的实时因子（RTF）：
表4：推理时间对比（RTF、可训练参数）
表4：推理时间对比。T. Params为可训练参数量，RTF<1表示快于实时。
可以看到，32通道的OURS-32可训练参数量仅3.6M（与StoRM-32相同），RTF=0.55，意味着处理1秒音频只需0.55秒，实现了实时处理。而128通道的OURS-128虽然RTF=1.8（慢于实时），但性能更高。用户可以按需选择：追求性能选128通道，追求速度选32通道。
这种灵活性使得本文方法既有学术价值，又具备落地潜力。尤其是32通道版本，在嵌入式设备上也许也能跑起来。

未来展望：更大规模评测、主观听感测试与更优特征提取器

论文结尾的作者指出，未来工作包括：在更大的基准测试集上评估（如VoiceBank+DEMAND更大版本或真实录音），进行正式的主观听感测试（MOS），以及尝试使用其他自监督特征提取器如WavLM、HuBERT。这些方向值得跟进。
龙哥认为，当前的工作已经证明了自监督特征作为扩散模型条件的巨大潜力。下一步如果能验证WavLM等更大模型的效果，或者将方法与当前最先进的生成模型（比如基于transformer的扩散）结合，可能会带来新的突破。
另外，本文在SI-SDR上的轻微下降是一个小遗憾，未来可以通过改进损失函数或引入多目标优化来弥补。不过从听感角度，DNSMOS已经说明总体质量更好，所以瑕不掩瑜。

龙迷三问

下面是龙哥对于大家可能的一些问题的解答：

这篇论文解决了什么问题？论文提出了一种将自监督学习（SSL）特征与扩散模型结合的方法，通过wav2vec 2.0的语音学特征来指导语音增强过程，解决了扩散模型缺乏语言学先验的问题，显著提升了增强语音的感知质量。

FiLM和EMA分别代表什么？为什么选择它们？FiLM（Feature-wise Linear Modulation）是一种特征线性调制方法，通过预测的缩放和偏移参数对特征图进行通道级调制。EMA（Exponential Moving Average）指数移动平均，用于对时间序列进行平滑。论文从理论（卡尔曼滤波）上证明了EMA是因果估计下的最优聚合策略，而FiLM在瓶颈层注入则是最佳的性能-计算权衡点。

为什么只在U-Net的瓶颈层进行FiLM调制？消融实验表明，在编码器层也加入FiLM会导致性能下降。因为编码器处理的是细粒度频谱-时间细节，高层语义调制会破坏这些信息。而瓶颈层特征已经高度抽象，与wav2vec 2.0的语义特征天然对齐，且只调制瓶颈层计算开销极低。

如果你还有哪些想要了解的，欢迎在评论区留言或者讨论~

龙哥点评

论文创新性分数：★★★✰✰

将SSL特征与扩散SE结合并不算全新，但本文在融合方式和理论推导上有亮点（如用卡尔曼滤波推导EMA最优性），属于增量创新。

实验合理度：★★★★✰

对比了多种基线（StoRM、CDiffuSE、UNIVERSE），在两个数据集上评估侵入式和非侵入式指标，消融实验也较为完整。不足之处在于部分指标（如SI-SDR）略有下降，但作者给出了合理解释。

学术研究价值：★★★✰✰

为扩散SE注入语言先验提供了一种简洁有效的范式，还从理论推导了EMA的合理性，有一定启发性。但整体方法比较简单，后续改进空间大。

稳定性：★★★✰✰

在标准数据集上表现稳定，但尚未在真实录音或极端噪声下验证，且SI-SDR略有下降，可能对某些应用场景造成影响。

适应性以及泛化能力：★★★✰✰

在VB-DEMAND和LibriMix上取得了不错结果，尤其是LibriMix跨场景增益显著，但噪声类型覆盖有限，泛化到真实复杂环境还需更多验证。

硬件需求及成本：★★★★✰

32通道版本RTF=0.55，可实现实时处理；128通道版本RTF=1.8，慢于实时但代价不大。wav2vec 2.0特征提取开销极小，整体成本可控。

复现难度：★★★✰✰

基于公开的StoRM代码和wav2vec 2.0预训练模型，FiLM层实现简单，但需要自行组合。论文未提及是否开源，希望作者能放出代码。

产品化成熟度：★★★✰✰

32通道版本可实时运行，PESQ提升明显，DNSMOS也较高，具备初步产品化潜力。但还需要在更多噪声类型和实际设备上验证，以及主观听感测试。

可能的问题：SI-SDR有轻微下降，文章解释为噪声抑制更激进，但可能会在一些要求高保真的应用中成为短板。此外，未能与其他基于SSL条件的扩散SE方法（如直接输入拼接）进行对比，算是一个小缺失。


主要参考文献

[7] Y.-J. Lu et al., "Conditional diffusion probabilistic model for speech enhancement," ICASSP 2022.
[10] J. Serra et al., "Universal speech enhancement with score-based diffusion," arXiv 2022.
[12] A. Baevski et al., "wav2vec 2.0: A framework for self-supervised learning of speech representations," NeurIPS 2020.
[20] E. Perez et al., "FiLM: Visual reasoning with a general conditioning layer," AAAI 2018.
[25] J.-M. Lemercier et al., "StoRM: A diffusion-based stochastic regeneration model for speech enhancement and dereverberation," IEEE/ACM TASLP 2023.
[27] Y. Song et al., "Score-based generative modeling through stochastic differential equations," ICLR 2021.

*本文仅代表个人理解及观点，不构成任何论文审核或者项目落地推荐意见，具体以相关组织评审结果为准。欢迎就论文内容交流探讨，理性发言哦～ 想了解更多原文细节的小伙伴，可以点击"阅读原文"，查看更多原论文细节哦！       

end
想跟龙哥探讨最新AI论文精髓？欢迎加入龙哥读论文粉丝群，扫描下方二维码或者添加龙哥助手微信号加群：kangjinlonghelper。一定要备注：研究方向+地点+学校/公司+昵称（如 语音增强+北京+马里兰大学+小A），根据格式备注，可更快被通过且邀请进群。
wechat_helper dianzan
转发文章 微博 X LinkedIn Facebook
龙哥读论文 · PaperDaily

本文基于龙哥读论文 PaperDaily 数据库整理，结合论文原文与工程视角进行解读。