[论文解读] Training Speech Enhancement Systems with Noisy Speech Datasets

Koichi Saito, Stefan Uhlich+2 more|arXiv (Cornell University)|May 26, 2021

Speech and Audio Processing参考文献 23被引用 6

一句话总结

本论文提出两种方法，利用如 Mozilla Common Voice 等含噪语音数据集训练基于深度学习的语音增强（SE）系统，而非使用干净语音。首先，提出一种鲁棒损失函数，在时间-频率（T-F）桶上平均之前先对样本轴取中位数，从而降低噪声引起的误差。其次，提出一种用于混合不变训练（MixIT）的噪声增强方案，提升泛化能力。主要结果为 PESQ 分数分别提升 0.19 和 0.27 分，证明在无干净目标的情况下，仅使用含噪数据训练亦可取得良好效果。

ABSTRACT

Recently, deep neural network (DNN)-based speech enhancement (SE) systems have been used with great success. During training, such systems require clean speech data - ideally, in large quantity with a variety of acoustic conditions, many different speaker characteristics and for a given sampling rate (e.g., 48kHz for fullband SE). However, obtaining such clean speech data is not straightforward - especially, if only considering publicly available datasets. At the same time, a lot of material for automatic speech recognition (ASR) with the desired acoustic/speaker/sampling rate characteristics is publicly available except being clean, i.e., it also contains background noise as this is even often desired in order to have ASR systems that are noise-robust. Hence, using such data to train SE systems is not straightforward. In this paper, we propose two improvements to train SE systems on noisy speech data. First, we propose several modifications of the loss functions, which make them robust against noisy speech targets. In particular, computing the median over the sample axis before averaging over time-frequency bins allows to use such data. Furthermore, we propose a noise augmentation scheme for mixture-invariant training (MixIT), which allows using it also in such scenarios. For our experiments, we use the Mozilla Common Voice dataset and we show that using our robust loss function improves PESQ by up to 0.19 compared to a system trained in the traditional way. Similarly, for MixIT we can see an improvement of up to 0.27 in PESQ when using our proposed noise augmentation.

研究动机与目标

• 解决在缺乏或无法获取干净语音数据时，训练基于深度神经网络的语音增强（SE）系统所面临的挑战。
• 实现利用公开的含噪语音数据集（如 Mozilla Common Voice）进行有效训练，这些数据集多样性丰富但缺乏干净目标。
• 克服现有方法（如 MixIT）的局限性，即当目标中的噪声分布与人工噪声不一致时，模型性能会下降。
• 通过设计对噪声训练目标具有鲁棒性的损失函数与数据增强策略，提升泛化能力与性能。

提出的方法

• 提出一种修改后的损失函数，先在样本轴上取中位数，再对时间-频率（T-F）桶平均，降低对噪声目标的敏感性。
• 为 MixIT 提出一种噪声增强方案，确保真实噪声与人工噪声的分布一致，满足 MixIT 的独立混合假设。
• 将修改后的损失函数应用于基于 UMX 的模型，输入表示采用 1024 点 FFT 和 256 样本重叠的谱图。
• 在 MixIT 训练中使用 SDR 损失，采用 Adam 优化器，批量大小为 16，训练 1000 个周期，并启用早停。
• 使用 DEMAND 数据集进行人工噪声增强，确保训练过程中噪声的多样性和真实性。
• 使用 PESQ 作为主要指标，在 VBD、DNS dry 和 DNS 反射测试集上评估模型性能。

实验结果

研究问题

• RQ1 当在含噪语音数据集上训练时，一种在样本轴上取中位数、再对时间-频率（T-F）桶平均的修改损失函数，是否能提升语音增强性能？
• RQ2 在目标本身具有噪声的情况下，MixIT 训练中的噪声增强是否能提升泛化能力与性能？
• RQ3 与标准 MSE 损失相比，所提出的损失函数在含噪数据上训练时，PESQ 提升如何？
• RQ4 当目标中的噪声分布与人工噪声不匹配时，能否有效将 MixIT 应用于含噪语音数据集？

主要发现

• 所提出的“样本中位数、T-F 桶平均”损失函数在使用含噪 Mozilla Common Voice 数据集训练时，相比标准 MSE 损失，PESQ 最高提升 0.19 分。
• 该损失函数在 VBD 测试集上的 PESQ 分数与在干净 VBD 数据上训练的模型相当。
• 为 MixIT 提出的噪声增强方案在使用 MCV 有效或无效数据训练，并在 VBD 上评估时，PESQ 最高提升 0.27 分。
• 采用新损失函数与增强策略训练的模型展现出更好的泛化能力，体现在 DNS dry 和反射测试集上的性能提升。
• 人工检查确认，增强后的 MixIT 设置产生了更平衡的输出分量，多个分支中均包含语音，而未修改的版本则未能正确分离语音。
• 所提方法在性能上优于传统训练与原始 MixIT，尤其在含噪与反射测试集上表现更优，表明其具备更强的鲁棒性与泛化能力。