[论文解读] Tensor-Train Long Short-Term Memory for Monaural Speech Enhancement

Suman Samui, Indrajit Chakrabarti+1 more|arXiv (Cornell University)|Dec 25, 2018

Speech and Audio Processing参考文献 14被引用 4

一句话总结

该论文提出了一种张量-列车长短期记忆（TT-LSTM）模型，用于压缩用于单通道语音增强的深度LSTM网络，通过张量-列车分解对权重矩阵进行分解，从而降低模型复杂度。尽管参数量相比标准RNN减少了数个数量级，TT-LSTM-based TensorNet在匹配与不匹配噪声条件下均实现了具有竞争力的语音质量与可懂度表现。

ABSTRACT

In recent years, Long Short-Term Memory (LSTM) has become a popular choice for speech separation and speech enhancement task. The capability of LSTM network can be enhanced by widening and adding more layers. However, this would introduce millions of parameters in the network and also increase the requirement of computational resources. These limitations hinders the efficient implementation of RNN models in low-end devices such as mobile phones and embedded systems with limited memory. To overcome these issues, we proposed to use an efficient alternative approach of reducing parameters by representing the weight matrix parameters of LSTM based on Tensor-Train (TT) format. We called this Tensor-Train factorized LSTM as TT-LSTM model. Based on this TT-LSTM units, we proposed a deep TensorNet model for single-channel speech enhancement task. Experimental results in various test conditions and in terms of standard speech quality and intelligibility metrics, demonstrated that the proposed deep TT-LSTM based speech enhancement framework can achieve competitive performances with the state-of-the-art uncompressed RNN model, even though the proposed model architecture is orders of magnitude less complex.

研究动机与目标

• 解决单通道语音增强中深度LSTM模型参数量过高和计算成本过大的问题。
• 克服因内存和计算资源受限导致的低性能设备（如手机和嵌入式系统）部署限制。
• 通过参数高效的权重矩阵分解，在显著降低模型复杂度的同时保持高语音质量与可懂度。
• 通过评估中的说话人与噪声泛化能力，验证模型对未见噪声类型的鲁棒性。
• 构建一种基于TT-LSTM单元的深度神经网络框架，在实现显著压缩的同时保持性能。

提出的方法

• 对LSTM单元的密集权重矩阵应用张量-列车（TT）分解，将其分解为一系列低秩核心张量。
• 通过TT格式将每个LSTM权重矩阵表示为一系列矩阵乘积，从而在保持表征能力的同时减少参数数量。
• 构建一个使用TT-LSTM单元的三层深度TensorNet架构，实现端到端的单通道语音增强。
• 采用时频（T-F）掩码方法，使网络能够预测掩码以从含噪输入中重建干净语音。
• 使用通过时间反向传播训练模型，配合丢弃率（0.5）和批量归一化，以提升泛化能力。
• 通过TT-秩（例如秩为4）控制压缩程度，实现模型复杂度与性能之间的平衡。

实验结果

研究问题

• RQ1 张量-列车分解是否能在不损失性能的前提下，有效压缩用于单通道语音增强的LSTM模型？
• RQ2 与标准未压缩LSTM及DNN基线模型相比，TT-LSTM模型在语音质量与可懂度方面的表现如何？
• RQ3 TT-LSTM模型在训练中未出现的未见噪声类型上的泛化能力有多强？
• RQ4 与标准RNN相比，该模型的参数效率如何？这种效率是否使其能够在资源受限设备上部署？
• RQ5 TT-LSTM框架在不同信噪比（SNR）水平和多样化说话人群体中是否保持鲁棒性？

主要发现

• 尽管参数量比最先进的未压缩RNN模型少数个数量级，TT-LSTM-based TensorNet在PESQ和STOI指标上仍达到相近水平。
• 在测试集A（匹配噪声）上，TT-LSTM-Rank-4模型的平均PESQ为2.45，STOI为0.82，优于DNN基线模型，并与LSTM基线模型相当。
• 在测试集B（不匹配噪声）上，TT-LSTM模型保持了强劲性能，平均PESQ为2.38，STOI为0.80，表明其对未见噪声类型的强泛化能力。
• 与标准LSTM相比，TT-LSTM显著降低了模型复杂度，实现多个数量级的压缩，从而支持在内存受限设备上的高效部署。
• 所提出的框架展现出显著的说话人泛化能力，因为测试说话人与训练集和验证集完全不同。
• 使用TT-秩（如4）可有效控制模型复杂度，同时在多种噪声条件下保持高性能。