[论文解读] Very Deep Convolutional Neural Networks for Robust Speech Recognition

Yanmin Qian, Philip C. Woodland|arXiv (Cornell University)|Oct 2, 2016

Speech Recognition and Synthesis参考文献 24被引用 12

一句话总结

该论文提出了一种深度卷积神经网络（VDCNN），其卷积层最多可达十层，专为在嘈杂环境中实现鲁棒的语音识别而优化。通过减小滤波器和池化尺寸、增加输入特征图维度，并应用有针对性的填充和特征选择，VDCNN在Aurora 4任务上实现了7.09%的词错误率，显著优于标准CNN和最先进的基线模型，且无需前端去噪或序列训练。

ABSTRACT

This paper describes the extension and optimization of our previous work on very deep convolutional neural networks (CNNs) for effective recognition of noisy speech in the Aurora 4 task. The appropriate number of convolutional layers, the sizes of the filters, pooling operations and input feature maps are all modified: the filter and pooling sizes are reduced and dimensions of input feature maps are extended to allow adding more convolutional layers. Furthermore appropriate input padding and input feature map selection strategies are developed. In addition, an adaptation framework using joint training of very deep CNN with auxiliary features i-vector and fMLLR features is developed. These modifications give substantial word error rate reductions over the standard CNN used as baseline. Finally the very deep CNN is combined with an LSTM-RNN acoustic model and it is shown that state-level weighted log likelihood score combination in a joint acoustic model decoding scheme is very effective. On the Aurora 4 task, the very deep CNN achieves a WER of 8.81%, further 7.99% with auxiliary feature joint training, and 7.09% with LSTM-RNN joint decoding.

研究动机与目标

• 提升语音识别系统在噪声环境和不匹配条件下的鲁棒性，特别是在标准DNN和浅层CNN表现不佳的情况下。
• 探究是否可以将计算机视觉中取得成功的非常深的CNN架构有效适配于自动语音识别任务。
• 探索滤波器尺寸、池化策略、输入特征图配置等架构设计选择对噪声语音识别性能的影响。
• 开发并评估与辅助特征（i-vector、fMLLR）联合训练的策略，以进一步增强鲁棒性。
• 通过在状态级别使用加权对数似然得分组合的联合解码方法，证明VDCNN与LSTM-RNN模型结合的有效性。

提出的方法

• 通过减小滤波器和池化尺寸并增加输入特征图维度，设计一种包含最多十层卷积层的非常深的CNN（VDCNN），以支持更深的网络结构。
• 在特征图的时间和频率维度上应用填充，以稳定训练过程并提升非常深网络的性能。
• 仅使用静态特征作为输入，发现其在噪声鲁棒性方面优于动态特征。
• 引入VDCNN与辅助特征（i-vector和fMLLR）的联合训练，以适应说话人和信道变化。
• 在联合解码中使用状态级别的加权对数似然得分组合方法，将VDCNN与LSTM-RNN声学模型结合，性能优于标准的词典组合方法。
• 应用一种新颖的联合解码方案，在状态级别使用学习得到的权重组合VDCNN和LSTM-RNN的输出，从而提升鲁棒性和准确性。

实验结果

研究问题

• RQ1 与标准浅层CNN相比，具有超过五层卷积层的非常深CNN是否能在噪声语音识别任务中显著降低词错误率（WER）？
• RQ2 滤波器尺寸、池化策略和输入特征图配置等架构选择如何影响深度CNN在语音识别中的性能？
• RQ3 在深度CNN中，仅使用静态特征是否优于使用动态特征，以实现噪声鲁棒的语音识别？
• RQ4 与辅助特征（i-vector和fMLLR）联合训练是否能进一步降低非常深CNN的WER，而无需序列训练或前端增强？
• RQ5 在结合VDCNN和LSTM-RNN模型时，状态级别的加权对数似然得分组合是否比标准的最小贝叶斯风险（MBR）词典组合更有效？

主要发现

• 所提出的非常深的CNN（VDCNN）在Aurora 4任务上实现了8.81%的词错误率（WER），相比标准浅层CNN基线模型，相对WER降低了17.0%。
• 与辅助特征（i-vector和fMLLR）联合训练后，WER降低至7.99%，相比基线模型相对WER降低了25.0%。
• 最终联合解码系统通过在状态级别使用加权对数似然得分组合结合VDCNN与LSTM-RNN，实现了7.09%的WER，是该论文发表时Aurora 4任务上报告的最佳结果。
• 仅在时间维度上进行池化而不使用填充是无效的，而在时间和频率两个维度上均应用填充能显著提升非常深CNN的性能。
• 仅将静态特征作为VDCNN的输入，其性能优于使用动态特征，表明深度网络能更有效地从静态输入中学习时间动态特性。
• 所提出的在状态级别进行加权对数似然得分组合的方法优于标准的Kaldi MBR词典组合，证明了该联合解码方案在充分利用VDCNN与LSTM-RNN模型互补优势方面的优越性。