[论文解读] Recurrent Models for Auditory Attention in Multi-Microphone Distance Speech Recognition

Suyoun Kim, Ian Lane|arXiv (Cornell University)|Nov 19, 2015

Speech and Audio Processing参考文献 30被引用 7

一句话总结

该论文提出了一种基于注意力机制的RNN声学模型（ALSTM），可在无需波束成形或先前空间知识的情况下，联合学习融合多麦克风音频信号以实现远距离语音识别。通过在RNN中应用时间-通道注意力机制，该模型能够动态聚焦于时间对齐不一致、非平稳输入中的最可靠输入源，其性能与传统波束成形相当，同时具备端到端可训练性与更高的计算效率。

ABSTRACT

Integration of multiple microphone data is one of the key ways to achieve robust speech recognition in noisy environments or when the speaker is located at some distance from the input device. Signal processing techniques such as beamforming are widely used to extract a speech signal of interest from background noise. These techniques, however, are highly dependent on prior spatial information about the microphones and the environment in which the system is being used. In this work, we present a neural attention network that directly combines multi-channel audio to generate phonetic states without requiring any prior knowledge of the microphone layout or any explicit signal preprocessing for speech enhancement. We embed an attention mechanism within a Recurrent Neural Network (RNN) based acoustic model to automatically tune its attention to a more reliable input source. Unlike traditional multi-channel preprocessing, our system can be optimized towards the desired output in one step. Although attention-based models have recently achieved impressive results on sequence-to-sequence learning, no attention mechanisms have previously been applied to learn potentially asynchronous and non-stationary multiple inputs. We evaluate our neural attention model on the CHiME-3 challenge task, and show that the model achieves comparable performance to beamforming using a purely data-driven method.

研究动机与目标

• 解决在噪声和混响环境中单麦克风输入退化时的鲁棒远距离语音识别挑战。
• 消除对波束成形及麦克风布局或声源位置先验知识的依赖。
• 开发一种端到端可训练的声学模型，能够自动学习在时间维度上关注最可靠的输入通道。
• 通过可学习的注意力机制利用多麦克风输入中的空间多样性，提升识别准确率。
• 证明基于注意力的融合方法优于简单拼接，并可匹配或超越传统预处理方法（如波束成形）的性能。

提出的方法

• 将一种新颖的时间-通道注意力机制嵌入长短期记忆（LSTM）循环神经网络中，以在多个麦克风输入中动态关注最可靠的输入源。
• 该注意力机制在每个时间步基于RNN的隐藏状态，对来自不同通道的输入特征计算加权和，从而实现对高质量或时间对齐输入的聚焦。
• 将多通道信号的相位信息作为附加特征引入，以增强空间分辨能力并改善注意力学习。
• 使用标准自动语音识别（ASR）目标（如交叉熵损失）进行端到端训练，以优化音素状态识别准确率，同时与声学模型参数联合优化注意力权重。
• 系统直接处理原始多通道音频，跳过显式的信号预处理步骤，如波束成形或延迟-求和波束成形。
• 消融研究对比了包含与不包含相位特征的模型，以及仅在时间维度或同时在时间与通道维度上使用注意力的模型，以分离所提注意力机制的贡献。

实验结果

研究问题

• RQ1 在基于RNN的声学模型中，注意力机制能否有效整合异步且非平稳的多麦克风输入以实现远距离语音识别？
• RQ2 当缺乏任何先验空间信息时，对多通道进行端到端注意力学习是否优于传统波束成形方法？
• RQ3 相位信息的引入如何影响多麦克风ASR中注意力机制的性能与学习效果？
• RQ4 数据驱动的注意力机制能否在无需显式信号增强的情况下，匹配或超越手工设计的预处理方法（如波束成形）的性能？
• RQ5 与先进行波束成形再进行声学建模的流水线相比，所提出的基于注意力的模型在计算效率方面如何？

主要发现

• ALSTM模型在时间与通道上均使用注意力机制，在CHiME-3数据集上相比简单拼接五个噪声通道，实现了13%的相对错误率降低。
• ALSTM（含相位）模型相比基线LSTM（5个噪声通道）实现了17%的相对错误率降低，证明了时间-通道联合注意力的有效性。
• 该模型在不依赖麦克风布局先验知识或显式信号增强的情况下，性能与波束成形基线相当，甚至更优。
• 引入相位特征使识别性能相对提升了4.6%，表明相位信息有助于注意力学习。
• 所提模型的实时运行效率为0.08，显著快于波束成形 + LSTM流水线的0.6实时效率，显示出更高的计算效率。
• 消融研究证实，时间-通道双维注意力机制至关重要：仅在时间维度上使用注意力的单通道输入模型仅带来3%的准确率提升，远低于完整时间-通道注意力机制带来的17%增益。