[论文解读] The ICSTM+TUM+UP Approach to the 3rd CHIME Challenge: Single-Channel LSTM Speech Enhancement with Multi-Channel Correlation Shaping Dereverberation and LSTM Language Models

Amr El-Desoky Mousa, Erik Marchi+1 more|arXiv (Cornell University)|Oct 1, 2015

Speech and Audio Processing被引用 6

一句话总结

本论文针对第三届CHiME挑战赛提出了一套混合语音增强与识别系统，结合单通道LSTM语音增强、多通道相关性整形（CS）与相位误差滤波（PEF）进行混响抑制，并采用LSTM语言模型对N-best结果进行重打分。该方法在真实评估集上实现了24.38%的词错误率（WER），相比挑战赛基线相对提升25%。

ABSTRACT

This paper presents our contribution to the 3rd CHiME Speech Separation and Recognition Challenge. Our system uses Bidirectional Long Short-Term Memory (BLSTM) Recurrent Neural Networks (RNNs) for Single-channel Speech Enhancement (SSE). Networks are trained to predict clean speech as well as noise features from noisy speech features. In addition, the system applies two methods of dereverberation on the 6-channel recordings of the challenge. The first is the Phase-Error based Filtering (PEF) that uses time-varying phase-error filters based on estimated time-difference of arrival of the speech source and the phases of the microphone signals. The second is the Correlation Shaping (CS) that applies a reduction of the long-term correlation energy in reverberant speech. The Linear Prediction (LP) residual is processed to suppress the long-term correlation. Furthermore, the system employs a LSTM Language Model (LM) to perform N-best rescoring of recognition hypotheses. Using the proposed methods, an improved Word Error Rate (WER) of 24.38% is achieved over the real eval test set. This is around 25% relative improvement over the challenge baseline.

研究动机与目标

• 提升在典型真实场景中存在噪声与混响环境下的自动语音识别（ASR）性能。
• 解决多麦克风录音中因背景噪声与房间混响导致的ASR性能下降问题。
• 开发一种数据驱动、端到端可训练的系统，整合语音增强、混响抑制与语言建模，以实现鲁棒的ASR。
• 评估单通道LSTM语音增强与多通道混响抑制技术在真实世界CHiME-3数据上的有效性。

提出的方法

• 训练双向LSTM循环神经网络（BLSTM），在单通道语音增强（SSE）设置下，直接从含噪语音特征预测干净语音与噪声特征。
• 应用两种多通道混响抑制技术：基于相位误差的滤波（PEF），利用基于时延到达差（TDOA）估计的时变相位误差滤波器；以及相关性整形（CS），通过减少线性预测（LP）残差中的长期相关性能量来实现。
• CS方法特别针对缩短均衡后说话人到接收器脉冲响应的长度，以抑制晚期混响。
• 在CHiME-3数据集上训练LSTM语言模型，并用于对基线GMM/DNN ASR系统生成的N-best识别假设进行重打分。
• 系统在真实与模拟的CHiME-3数据上进行训练与评估，性能在不同增强与混响抑制配置下进行对比。
• 通过结合5-gram回退模型的混合LSTM语言模型进行N-best重打分，最终优化识别准确率。

实验结果

研究问题

• RQ1 单通道LSTM语音增强在噪声与混响环境中降低词错误率（WER）的效果如何？
• RQ2 在真实CHiME-3数据上，哪种多通道混响抑制技术——相关性整形（CS）还是基于相位误差的滤波（PEF）——能带来更好的ASR性能？
• RQ3 在多麦克风ASR设置中，LSTM语言模型通过N-best重打分能多大程度上提升识别准确率？
• RQ4 在CS去混响数据上进行训练是否能相比基线或PEF增强数据，实现对真实测试集更好的泛化能力？
• RQ5 当使用先进增强与混响抑制技术时，模拟数据能否可靠预测真实世界ASR系统的性能？

主要发现

• 所提系统在真实评估测试集上实现了24.38%的词错误率（WER），相比官方挑战基线相对提升25%。
• 相关性整形（CS）在WER表现上优于基于相位误差的滤波（PEF），其中CS在真实评估集上达到27.74% WER，而PEF为28.79%。
• 单通道LSTM增强与CS混响抑制的结合实现了最佳整体性能，优于仅使用单通道增强或PEF单独使用的效果。
• 使用LSTM语言模型进行N-best重打分，对CS去混响数据的WER降低了约4%相对值，对基线增强数据则降低了5%。
• 模拟数据展现出强大的性能预测能力，表明其在系统开发与超参数调优中的实用性。
• 最佳系统在真实开发集上实现14.56% WER，在真实评估集上实现24.38% WER，尤其在行人（PED）与公交车（BUS）环境中表现尤为出色。