[论文解读] Speech Enhancement and Dereverberation with Diffusion-based Generative Models

Julius Richter, Simon Welker+3 more|arXiv (Cornell University)|Aug 11, 2022

Speech and Audio Processing被引用 4

一句话总结

本文提出了一种基于扩散的生成模型，用于语音增强与混响抑制，通过在反向扩散过程中以含噪语音加噪声作为条件，仅用30步即可生成高质量的清晰语音。该方法在模拟数据与真实世界数据上均达到最先进性能，其泛化能力与主观质量优于判别式模型，并有效扩展至混响抑制任务，超越了单纯的噪声抑制。

ABSTRACT

In this work, we build upon our previous publication and use diffusion-based generative models for speech enhancement. We present a detailed overview of the diffusion process that is based on a stochastic differential equation and delve into an extensive theoretical examination of its implications. Opposed to usual conditional generation tasks, we do not start the reverse process from pure Gaussian noise but from a mixture of noisy speech and Gaussian noise. This matches our forward process which moves from clean speech to noisy speech by including a drift term. We show that this procedure enables using only 30 diffusion steps to generate high-quality clean speech estimates. By adapting the network architecture, we are able to significantly improve the speech enhancement performance, indicating that the network, rather than the formalism, was the main limitation of our original approach. In an extensive cross-dataset evaluation, we show that the improved method can compete with recent discriminative models and achieves better generalization when evaluating on a different corpus than used for training. We complement the results with an instrumental evaluation using real-world noisy recordings and a listening experiment, in which our proposed method is rated best. Examining different sampler configurations for solving the reverse process allows us to balance the performance and computational speed of the proposed method. Moreover, we show that the proposed method is also suitable for dereverberation and thus not limited to additive background noise removal. Code and audio examples are available online, see https://github.com/sp-uhh/sgmse.

研究动机与目标

• 开发一种生成模型，通过学习清晰语音的先验分布，使语音增强性能超越判别式方法。
• 解决先前扩散模型从纯噪声开始的局限性，通过将反向过程条件化为含噪语音加噪声，以匹配前向过程。
• 提升在训练与测试条件不匹配情况下的泛化能力，尤其针对真实世界含噪录音。
• 将该框架扩展至语音混响抑制任务，证明其在加性噪声之外的多功能性。
• 通过仪器度量与真实世界数据的主观听音测试，对方法进行全面评估。

提出的方法

• 使用基于分数的生成模型，通过在清晰语音的复数短时傅里叶变换（STFT）表示上进行分数匹配进行训练。
• 采用随机微分方程（SDE）作为前向过程，逐步添加噪声与混响，漂移项用于建模退化过程。
• 将反向过程的条件设定为含噪语音与高斯噪声的混合，而非纯噪声，以与前向过程保持一致。
• 采用U-Net架构，结合残差块与注意力机制，提升建模能力与性能表现。
• 采用去噪分数匹配目标，并使用方差爆炸（VE）SDE形式以稳定训练过程。
• 通过数值求解器（如Euler–Maruyama）进行迭代采样，从含噪输入生成清晰语音估计。

实验结果

研究问题

• RQ1 基于含噪语音条件化的扩散生成模型是否能在匹配与不匹配条件下均优于判别式模型？
• RQ2 将反向扩散过程条件化为含噪语音加噪声是否能提升样本质量并减少所需步数？
• RQ3 该框架是否可有效应用于语音混响抑制，而不仅限于噪声抑制？
• RQ4 该方法在无清晰参考的、真实世界非模拟含噪录音上的表现如何？
• RQ5 在反向过程中改变函数评估次数（NFE）时，采样速度与语音质量之间的权衡如何？

主要发现

• 在DNS Challenge 2020测试集的真实世界含噪录音上，该方法取得DNSMOS得分为3.64，优于所有基线模型，包括MetricGAN+与Conv-TasNet。
• 在不匹配条件（在VB-DMD上训练，在DNS上测试）下，该方法在SDR（13.4 dB）与ESTOI（0.82）上均达到最高，优于所有判别式与生成式基线模型。
• 该方法将扩散步数减少至30步，同时保持高质量输出，GPU上的实时因子（RTF）为0.12。
• 在MC-WSJ-AV数据集上，该模型在混响抑制任务中取得PESQ为3.21、SDR为11.8 dB，显著优于判别式基线模型。
• 在主观听音实验中，人类受试者对该方法评分最高，平均意见得分（MOS）为4.25（满分5分）。
• 该方法对真实世界噪声表现出鲁棒性，在非侵入性指标上显著提升，如SIG（3.42）与BAK（3.82），而判别式模型在SIG上表现下降。