[论文解读] RHR-Net: A Residual Hourglass Recurrent Neural Network for Speech Enhancement

Jalal Abdulbaqi, Yue Gu+1 more|arXiv (Cornell University)|Apr 15, 2019

Speech and Audio Processing参考文献 36被引用 5

一句话总结

RHR-Net 提出了一种完全循环的、沙漏形状的残差神经网络，用于端到端的波形语音增强，利用双向长短期记忆单元捕捉长程时间依赖关系，同时避免相位损失和内存密集型的空洞卷积。该方法在六个评估指标上达到最先进性能，优于先前方法，在语音质量和可懂度方面表现更优。

ABSTRACT

Most current speech enhancement models use spectrogram features that require an expensive transformation and result in phase information loss. Previous work has overcome these issues by using convolutional networks to learn long-range temporal correlations across high-resolution waveforms. These models, however, are limited by memory-intensive dilated convolution and aliasing artifacts from upsampling. We introduce an end-to-end fully-recurrent hourglass-shaped neural network architecture with residual connections for waveform-based single-channel speech enhancement. Our model can efficiently capture long-range temporal dependencies by reducing the features resolution without information loss. Experimental results show that our model outperforms state-of-the-art approaches in six evaluation metrics.

研究动机与目标

• 为解决基于频谱图的语音增强方法的局限性，包括相位信息损失和昂贵的转换步骤。
• 克服现有波形级模型中内存密集型的空洞卷积和混叠伪影问题。
• 开发一种完全循环的架构，以高效捕捉原始波形中的长程时间依赖关系。
• 实现直接从原始音频端到端学习，无需中间特征提取。
• 通过一种新颖的循环沙漏结构，提升噪声环境下语音质量和可懂度。

提出的方法

• 该模型采用沙漏形状架构，编码器和解码器路径对称，均使用双向长短期记忆（Bi-LSTM）单元。
• 在编码器和解码器对应层之间应用残差连接，以稳定训练并改善梯度流动。
• 网络直接处理原始波形，避免频谱图转换，从而保留相位信息。
• 下采样通过编码器中的步长大尺寸LSTM实现，而上采样则通过解码器中的转置LSTM完成。
• 架构使用低维瓶颈层压缩特征，同时避免信息损失。
• 采用原始波形与增强波形之间的均方误差损失进行端到端训练。

实验结果

研究问题

• RQ1 完全循环的沙漏网络能否有效建模原始语音波形中的长程时间依赖关系？
• RQ2 与空洞卷积网络相比，残差沙漏设计是否能降低内存消耗并避免混叠伪影？
• RQ3 该模型是否能在不使用频谱图特征的情况下，超越现有最先进方法的语音增强性能？
• RQ4 相位信息的保留对噪声条件下语音质量与可懂度有何影响？
• RQ5 残差连接机制在所提架构中在多大程度上提升了训练稳定性和性能？

主要发现

• RHR-Net 在六个评估指标上达到最先进性能，包括 PESQ、STOI 和 SNR，优于先前方法。
• 由于相位保留和有效的长程建模，该模型在低信噪比（SNR）条件下表现出更优的语音质量和可懂度。
• 由于避免了频谱图转换，相位信息损失被消除，从而带来感知质量的提升。
• 残差连接显著稳定了训练并提升了收敛性，使更深的网络架构成为可能。
• 采用步长大尺寸和转置LSTM的沙漏结构能高效降低和重建特征分辨率，且无信息退化。
• 与基于空洞卷积的方法相比，该模型在计算开销更低的情况下实现了具有竞争力的性能。