[论文解读] SkipConvNet: Skip Convolutional Neural Network for Speech Dereverberation using Optimally Smoothed Spectral Mapping

Vinay Kothapally, Wei Xia+4 more|arXiv (Cornell University)|Jul 17, 2020

Speech and Audio Processing参考文献 24被引用 25

一句话总结

本文提出SkipConvNet，一种用于语音去混响的全卷积U-Net变体，通过使用多个卷积模块替代标准跳跃连接，以提升特征学习能力。同时，该方法引入了最优功率谱密度（PSD）平滑作为预处理步骤。该方法在REVERB挑战数据集的模拟和真实数据上，显著提升了语音质量和后端系统性能，优于WPE和标准U-Net。

ABSTRACT

The reliability of using fully convolutional networks (FCNs) has been successfully demonstrated by recent studies in many speech applications. One of the most popular variants of these FCNs is the `U-Net', which is an encoder-decoder network with skip connections. In this study, we propose `SkipConvNet' where we replace each skip connection with multiple convolutional modules to provide decoder with intuitive feature maps rather than encoder's output to improve the learning capacity of the network. We also propose the use of optimal smoothing of power spectral density (PSD) as a pre-processing step, which helps to further enhance the efficiency of the network. To evaluate our proposed system, we use the REVERB challenge corpus to assess the performance of various enhancement approaches under the same conditions. We focus solely on monitoring improvements in speech quality and their contribution to improving the efficiency of back-end speech systems, such as speech recognition and speaker verification, trained on only clean speech. Experimental findings show that the proposed system consistently outperforms other approaches.

研究动机与目标

• 通过深度学习提升混响环境中语音去混响的性能。
• 通过用可学习的卷积模块替代标准U-Net跳跃连接，解决其局限性。
• 通过结构化的跳跃路径提升解码器中特征表示与学习能力。
• 研究最优PSD平滑作为预处理步骤对网络性能的影响。
• 在模拟和真实录音上评估所提出系统的性能，重点关注语音质量和后端系统改进。

提出的方法

• 用多个卷积模块替代U-Net中的标准跳跃连接，为解码器提供更丰富、更直观的特征图。
• 基于最小统计方法，引入时变和频变的最优平滑参数 α_opt(t,f)，用于功率谱密度（PSD）估计。
• 将最优平滑后的PSD作为网络输入，低于-80 dB的值被截断以保持动态范围。
• 采用全卷积编码器-解码器架构，使用步长大于1的卷积（下采样）和转置卷积（上采样）实现端到端学习。
• 使用均方误差（MSE）损失函数，基于预测值与干净对数功率谱幅度（LPS）之间的差异进行训练，采用Adam优化器，批量大小为8，训练10个周期。
• 通过将网络预测的LPS与原始噪声相位结合，重建增强后的语音。

实验结果

研究问题

• RQ1 将U-Net中的标准跳跃连接替换为可学习的卷积模块，能否提升语音去混响性能？
• RQ2 作为预处理步骤的PSD最优平滑，是否能提升全卷积网络在去混响任务中的学习效率和最终性能？
• RQ3 在真实和模拟数据上，SkipConvNet与WPE和标准U-Net在语音质量和后端系统性能方面的表现如何？
• RQ4 所提出的预处理步骤在其他全卷积网络（FCN）架构上的性能提升程度如何，是否具有普适性？
• RQ5 该方法能否在仅使用干净语音训练的自动语音识别（ASR）和说话人验证（SV）系统中保持一致的性能提升？

主要发现

• 在模拟和真实数据上，SkipConvNet在语音质量指标（如CD、FWSegSNR、SRMR）上相比标准U-Net实现了54.45%的相对提升。
• 所提出的最优平滑预处理步骤本身使U-Net性能相对提升了39.19%，证明其在SkipConvNet之外也具有普遍优势。
• 在所有质量指标上，SkipConvNet相比使用预处理的U-Net平均实现了10.40%的相对性能提升。
• 在说话人验证任务中，SkipConvNet在模拟和真实录音上相比WPE将EER降低了35.03%，相比在预处理数据上训练的U-Net降低了16.42%。
• 在自动语音识别任务中，SkipConvNet在模拟和真实数据上相比WPE实现了48.15%的相对提升，相比使用预处理的U-Net实现了23.94%的相对提升。
• 通过频谱图可视化和高SRMR/FWSegSNR得分证实，该方法有效保留了混响语音中的共振峰结构，并减少了处理伪影。