[论文解读] The INTERSPEECH 2020 Deep Noise Suppression Challenge: Datasets, Subjective Speech Quality and Testing Framework

Chandan K. Reddy, Ebrahim Beyrami+11 more|arXiv (Cornell University)|Jan 23, 2020

Speech and Audio Processing参考文献 18被引用 67

一句话总结

tldr: 引介 INTERSPEECH 2020 Deep Noise Suppression Challenge，提供开源训练数据、具有代表性的真实世界测试集，以及基于 ITU-T P.808 的在线主观测试框架，用以评估感知语音质量。

ABSTRACT

The INTERSPEECH 2020 Deep Noise Suppression Challenge is intended to promote collaborative research in real-time single-channel Speech Enhancement aimed to maximize the subjective (perceptual) quality of the enhanced speech. A typical approach to evaluate the noise suppression methods is to use objective metrics on the test set obtained by splitting the original dataset. Many publications report reasonable performance on the synthetic test set drawn from the same distribution as that of the training set. However, often the model performance degrades significantly on real recordings. Also, most of the conventional objective metrics do not correlate well with subjective tests and lab subjective tests are not scalable for a large test set. In this challenge, we open-source a large clean speech and noise corpus for training the noise suppression models and a representative test set to real-world scenarios consisting of both synthetic and real recordings. We also open source an online subjective test framework based on ITU-T P.808 for researchers to quickly test their developments. The winners of this challenge will be selected based on subjective evaluation on a representative test set using P.808 framework.

研究动机与目标

• 促进实时单通道语音增强的协同研究。
• 提供用于训练 DSP 模型的开源干净语音与噪声语料库。
• 提供包括合成与真实录音的具有代表性的测试集，以实现鲁棒评估。
• 提供一个在线主观测试框架，使感知质量评估具可扩展性。
• 确保获胜者基于使用 P.808 框架的主观评估来选定。

提出的方法

• 开源的大型干净语音与噪声数据集，用于训练降噪模型。
• 汇集具有代表性的测试集，包含合成与真实录音，以反映真实世界情景。
• 提供基于 ITU-T P.808 的在线主观测试框架，用于快速评估。
• 以主观感知质量作为获胜者的主要标准。

实验结果

研究问题

• RQ1 在真实世界的单通道环境中，以感知质量指标评估时，降噪方法的性能如何？
• RQ2 开放数据集和可扩展的主观测试框架是否能提高评估的可靠性和对仅合成基准的泛化能力？
• RQ3 使用基于 P.808 的主观框架对竞争 DNS 方法的排序有何影响？

主要发现

• 开源训练数据和具有代表性的测试集使对 DNS 方法的评估更加真实。
• 基于 P.808 的在线主观测试框架促进对提交作品的可扩展感知评估。
• 挑战中的获胜者由在具有代表性测试集上的主观感知分数决定。
• 该方法凸显了真实录音在客观指标与感知质量之间潜在差距。