[论文解读] Speech Enhancement Using Multi-Stage Self-Attentive Temporal Convolutional Networks

Ju Lin, A. van Wijngaarden+2 more|arXiv (Cornell University)|Feb 24, 2021

Speech and Audio Processing参考文献 53被引用 4

一句话总结

该论文提出了一种多阶段自注意力时间卷积网络（SA-TCN）用于语音增强，其中每个阶段通过自注意力机制和扩张感受野逐渐增大的时间卷积网络（TCN）块，对前一阶段的输出进行细化。该方法在LibriSpeech和VCTK数据集上采用五阶段模型，实现了最先进（SOTA）的性能表现，提升了PESQ、STOI和SI-SDR得分，同时保持了较低的参数量和计算效率。

ABSTRACT

Multi-stage learning is an effective technique to invoke multiple deep-learning modules sequentially. This paper applies multi-stage learning to speech enhancement by using a multi-stage structure, where each stage comprises a self-attention (SA) block followed by stacks of temporal convolutional network (TCN) blocks with doubling dilation factors. Each stage generates a prediction that is refined in a subsequent stage. A fusion block is inserted at the input of later stages to re-inject original information. The resulting multi-stage speech enhancement system, in short, multi-stage SA-TCN, is compared with state-of-the-art deep-learning speech enhancement methods using the LibriSpeech and VCTK data sets. The multi-stage SA-TCN system's hyper-parameters are fine-tuned, and the impact of the SA block, the fusion block and the number of stages are determined. The use of a multi-stage SA-TCN system as a front-end for automatic speech recognition systems is investigated as well. It is shown that the multi-stage SA-TCN systems perform well relative to other state-of-the-art systems in terms of speech enhancement and speech recognition scores.

研究动机与目标

• 通过利用多阶段学习结合自注意力机制与时间卷积网络，提升语音增强性能。
• 通过在后期阶段引入融合模块，解决深度序列模型中语音信息退化的问题。
• 设计一种参数高效的架构，在多种噪声条件下均保持高性能。
• 评估该系统作为自动语音识别（ASR）系统前端的有效性。
• 研究自注意力机制、融合模块以及阶段数量对整体增强质量的影响。

提出的方法

• 每个阶段由一个自注意力（SA）模块后接R个堆叠的L个时间卷积网络（TCN）模块组成，其扩张感受野呈倍数增长。
• TCN模块使用扩张的一维卷积，以在不显著增加参数量的情况下扩展时间感受野。
• 从第三阶段开始引入融合模块，重新注入原始的含噪特征，以保留语音内容。
• 模型在每个阶段预测一个软掩码，隐式逼近理想比值掩码（IRM），并用于迭代地优化增强后的信号。
• 系统以幅度谱图作为输入，并利用原始含噪信号的相位信息重建时域波形。
• 超参数（包括阶段数量、自注意力模块的使用以及融合模块的集成）通过LibriSpeech和VCTK数据集进行微调。

实验结果

研究问题

• RQ1 与单阶段模型相比，多阶段学习结合SA-TCN在语音增强性能上有哪些提升？
• RQ2 引入自注意力机制和融合模块对增强质量与参数效率有何影响？
• RQ3 阶段数量如何影响性能表现？性能是否在某一阶段数量后趋于饱和？
• RQ4 所提出的多阶段SA-TCN系统能否作为自动语音识别（ASR）系统的有效前端？
• RQ5 在PESQ、STOI和SI-SDR等客观指标上，该模型与最先进方法相比表现如何？

主要发现

• 五阶段SA-TCN系统在VCTK数据集上实现了最佳整体性能，PESQ得分为3.02，STOI为0.9439，SI-SDR为18.48。
• 增加阶段数量可持续提升性能，但超过四阶段后增益逐渐减小，表明已趋近于隐式的性能上限。
• 在LibriSpeech和VCTK数据集上，自注意力机制与融合模块的引入显著提升了PESQ、STOI和CSIG得分。
• 五阶段SA-TCN模型仅使用991万个参数，即实现了最先进性能，展现出高度的效率与低计算成本。
• 通过频谱图可视化可确认，该系统显著提升了语音质量与可懂度，有效抑制了噪声，同时保留了语音的原始特征模式。
• 当用作ASR系统的前端时，多阶段SA-TCN系统显著提升了识别准确率，验证了其在下游任务中的鲁棒性与实用性。