[论文解读] Noise Adaptive Speech Enhancement using Domain Adversarial Training

Chien-Feng Liao, Yu Tsao+2 more|arXiv (Cornell University)|Jul 19, 2018

Speech and Audio Processing参考文献 43被引用 16

一句话总结

该论文提出了一种基于领域对抗性训练（DAT）的噪声自适应语音增强系统，以提升对未见噪声类型的鲁棒性。通过使用双向LSTM编码器-解码器与领域判别器进行训练，模型从无标签的目标域噪声语音中学习到噪声不变特征，相较于非自适应基线模型，在PESQ上提升19.0%，SSNR提升39.3%，STOI提升27.0%。

ABSTRACT

In this study, we propose a novel noise adaptive speech enhancement (SE) system, which employs a domain adversarial training (DAT) approach to tackle the issue of a noise type mismatch between the training and testing conditions. Such a mismatch is a critical problem in deep-learning-based SE systems. A large mismatch may cause a serious performance degradation to the SE performance. Because we generally use a well-trained SE system to handle various unseen noise types, a noise type mismatch commonly occurs in real-world scenarios. The proposed noise adaptive SE system contains an encoder-decoder-based enhancement model and a domain discriminator model. During adaptation, the DAT approach encourages the encoder to produce noise-invariant features based on the information from the discriminator model and consequentially increases the robustness of the enhancement model to unseen noise types. Herein, we regard stationary noises as the source domain (with the ground truth of clean speech) and non-stationary noises as the target domain (without the ground truth). We evaluated the proposed system on TIMIT sentences. The experiment results show that the proposed noise adaptive SE system successfully provides significant improvements in PESQ (19.0%), SSNR (39.3%), and STOI (27.0%) over the SE system without an adaptation.

研究动机与目标

• 解决基于深度学习的语音增强中训练与测试条件之间噪声类型不匹配的关键挑战。
• 在无需目标域数据的干净参考信号的情况下，提升语音增强模型对未见噪声类型的泛化能力。
• 仅使用目标域的无标签噪声语音实现有效适应，避免高昂的数据采集与标注成本。
• 证明领域对抗性训练能够提取噪声不变特征，从而增强模型在多样化噪声环境下的鲁棒性。

提出的方法

• 将平稳噪声定义为源域（具有干净语音参考），非平稳噪声定义为目标域（无干净参考）。
• 训练一个带有领域判别器的编码器-解码器架构，以实现领域对抗性训练（DAT），其中编码器旨在最小化判别器对噪声类型的分类能力。
• 优化编码器，使其在源域与目标域之间生成难以区分的特征，从而促进噪声不变性。
• 使用联合损失函数，结合语音增强损失（如L1/L2）与领域对抗损失，实现端到端训练。
• 在TIMIT数据集上应用该模型，采用频谱图特征（257×32），通过逆STFT与重叠相加法进行波形重建。
• 在训练过程中使用无标签的目标域噪声语音样本，实现在无需干净参考信号情况下的模型适应。

实验结果

研究问题

• RQ1 当缺乏干净参考信号时，领域对抗性训练是否能有效提升模型在未见噪声类型上的语音增强性能？
• RQ2 无标签目标域噪声数据的数量如何影响噪声自适应模型的性能增益？
• RQ3 所提出方法是否能泛化到适应噪声类型以外的其他噪声类型，避免过拟合？
• RQ4 无监督领域自适应方法在语音增强任务中，能多接近完全监督的上界模型性能？

主要发现

• 在不同信噪比（SNR）水平下，针对婴儿哭声噪声测试时，所提出的噪声自适应模型在平均PESQ上相较非自适应基线模型提升了19.0%。
• 该模型在SSNR上提升39.3%，在STOI上提升27.0%，表明在语音质量与可懂度方面均有显著提升。
• 即使仅在婴儿哭声噪声上进行适应，该模型在咖啡厅背景人声噪声上的表现仍优于基线模型，证明其超越适应噪声类型的泛化能力。
• 随着无标签目标域数据量的增加，性能呈单调提升趋势，PESQ随更多噪声语音样本用于适应而持续上升。
• 该模型性能已接近完全监督上界模型，表明无标签数据可显著缩小领域偏移差距。
• 频谱图的可视化分析证实，与基线模型相比，所提模型在低信噪比条件下更有效地抑制了噪声。