[论文解读] Real-time speech enhancement using equilibriated RNN

Daiki Takeuchi, Kohei Yatabe+3 more|arXiv (Cornell University)|Feb 14, 2020

Speech and Audio Processing参考文献 27被引用 4

一句话总结

该论文提出了一种基于因果均衡循环神经网络（ERNN）的实时语音增强方法，其性能可与LSTM相媲美，但参数量显著减少。通过迭代权重重用稳定梯度，且无需门控单元，ERNN实现了高效、低复杂度的推理，适用于资源受限设备，同时保持了高质量的语音增强效果。

ABSTRACT

We propose a speech enhancement method using a causal deep neural network~(DNN) for real-time applications. DNN has been widely used for estimating a time-frequency~(T-F) mask which enhances a speech signal. One popular DNN structure for that is a recurrent neural network~(RNN) owing to its capability of effectively modelling time-sequential data like speech. In particular, the long short-term memory (LSTM) is often used to alleviate the vanishing/exploding gradient problem which makes the training of an RNN difficult. However, the number of parameters of LSTM is increased as the price of mitigating the difficulty of training, which requires more computational resources. For real-time speech enhancement, it is preferable to use a smaller network without losing the performance. In this paper, we propose to use the equilibriated recurrent neural network~(ERNN) for avoiding the vanishing/exploding gradient problem without increasing the number of parameters. The proposed structure is causal, which requires only the information from the past, in order to apply it in real-time. Compared to the uni- and bi-directional LSTM networks, the proposed method achieved the similar performance with much fewer parameters.

研究动机与目标

• 解决在计算资源有限的实时应用中部署基于深度学习的语音增强方法的挑战。
• 在不增加模型复杂度的前提下，克服循环网络中的梯度消失/爆炸问题。
• 设计一种因果RNN架构，在最小化参数数量的同时保持长期时间依赖性。
• 通过减小模型大小，在不牺牲增强质量的前提下实现在边缘设备上的高效推理。
• 证明ERNN在性能与效率权衡方面优于剪枝后的LSTM模型。

提出的方法

• 采用均衡循环神经网络（ERNN），通过在隐藏状态上迭代应用相同的全连接层来稳定梯度。
• 仅使用过去信息以确保因果性，使网络适用于实时处理。
• 在STFT域中将ERNN实现为T-F掩码估计器，其中掩码应用于含噪谱图以恢复增强后的语音。
• 通过反向传播进行训练，梯度稳定性由迭代权重重用机制保证。
• 通过调整迭代次数 $K$ 和隐藏维度 $N_{\rm h}$ 来控制模型容量和计算成本。
• 在ERNN架构中使用带有ReLU激活的全连接DNN作为基础模块 $\mathscr{F}$。

实验结果

研究问题

• RQ1 ERNN是否能在显著减少参数量的情况下实现与LSTM相当的语音增强性能？
• RQ2 ERNN架构是否能在无需门控单元的情况下有效缓解梯度消失/爆炸问题？
• RQ3 迭代次数 $K$ 和隐藏维度 $N_{\rm h}$ 如何影响性能与计算成本之间的权衡？
• RQ4 尽管参数量减少，ERNN是否仍能在实时应用中保持高质量的增强效果？
• RQ5 在客观指标和参数效率方面，ERNN与因果LSTM及非因果BLSTM相比表现如何？

主要发现

• 所提出的基于ERNN的方法在512点STFT上分别取得了2.54和3.74的PESQ得分，与LSTM性能相当或更优，且参数量仅为后者的1/14。
• 仅使用231k个参数，ERNN即实现了2.40的PESQ得分和3.56的CSIG得分，与381万参数的LSTM性能相当。
• ERNN优于参数量相近的剪枝LSTM模型，展现出更优的性能-复杂度权衡。
• 该方法在参数量不足非因果BLSTM的1/36的情况下，性能接近后者（后者无法用于实时处理）。
• 将迭代次数 $K$ 从5减少到1对性能影响极小，进一步实现了计算成本的降低。
• ERNN模型在无门控单元的情况下仍保持了稳定的梯度，从而在参数量低的情况下有效学习了长期依赖关系。