[论文解读] Quaternion Neural Networks for Multi-channel Distant Speech Recognition

Xinchi Qiu, Titouan Parcollet+3 more|arXiv (Cornell University)|Jan 1, 2020

Speech and Audio Processing参考文献 36被引用 1

一句话总结

该论文提出了一种四元数长短期记忆（QLSTM）网络，通过利用四元数代数联合处理多麦克风信号，以更有效地捕捉通道间与通道内依赖关系，从而建模多通道远距离语音识别。QLSTM在TIMIT和DIRHA数据集上相比等效的实值LSTM实现了8%的相对WER提升，相比波束成形基线模型实现了15%的提升。

ABSTRACT

Despite the significant progress in automatic speech recognition (ASR), distant ASR remains challenging due to noise and reverberation. A common approach to mitigate this issue consists of equipping the recording devices with multiple microphones that capture the acoustic scene from different perspectives. These multi-channel audio recordings contain specific internal relations between each signal. In this paper, we propose to capture these inter- and intra- structural dependencies with quaternion neural networks, which can jointly process multiple signals as whole quaternion entities. The quaternion algebra replaces the standard dot product with the Hamilton one, thus offering a simple and elegant way to model dependencies between elements. The quaternion layers are then coupled with a recurrent neural network, which can learn long-term dependencies in the time domain. We show that a quaternion long-short term memory neural network (QLSTM), trained on the concatenated multi-channel speech signals, outperforms equivalent real-valued LSTM on two different tasks of multi-channel distant speech recognition.

研究动机与目标

• 解决使用多麦克风阵列进行远距离语音识别时面临的噪声与混响挑战。
• 通过比传统深度学习方法更有效地建模潜在的麦克风间与麦克风内信号依赖关系，提升鲁棒性。
• 探索四元数代数作为联合处理多通道音频信号的归纳偏置。
• 证明QLSTM在相同参数量下可优于实值LSTM和波束成形基线模型，在多通道自动语音识别中表现更优。

提出的方法

• 将多通道语音特征表示为四元数，每个麦克风的特征向量映射到四元数的四个分量（实部和三个虚部）。
• 采用哈密顿积（Hamilton product）替代标准点积，以实现参数共享并跨通道联合建模。
• 将四元数层与长短期记忆（LSTM）网络结合，联合学习时序依赖关系与跨通道关系。
• 在连接的多通道特征上端到端训练QLSTM，避免使用显式的波束成形或信号处理模块。
• 使用四元数特有操作（如共轭、范数和哈密顿积）以保持网络中的代数一致性。
• 将模型应用于使用MFCC和FBANK特征的模拟（TIMIT）和真实世界（DIRHA）远距离语音识别任务。

实验结果

研究问题

• RQ1 四元数神经网络能否有效建模多通道语音识别中的麦克风间与麦克风内依赖关系？
• RQ2 在噪声与混响条件下，QLSTM架构是否优于等效的实值LSTM？
• RQ3 在多麦克风自动语音识别中，QLSTM与传统波束成形技术相比表现如何？
• RQ4 QLSTM在不同声学特征表示（如MFCC和FBANK）下的性能增益是否一致？

主要发现

• 在模拟的TIMIT数据集上，QLSTM相比波束成形基线模型实现了15%的相对WER提升。
• 在同一数据集上，QLSTM相比具有相同参数量的实值LSTM实现了8%的相对WER降低。
• 在真实世界的DIRHA数据集上，QLSTM使用MFCC特征时WER为29.8%，使用FBANK特征时为29.7%，优于实值LSTM（分别为32.7%和31.6%）。
• QLSTM在不同声学特征上均表现出一致的性能增益，表明其泛化能力超越特定输入表示。
• 单通道QLSTM模型的性能与单通道LSTM相当，证实性能增益源于多通道建模，而非四元数结构本身。
• 实测与模拟测试集之间的性能差距对QLSTM更大，表明其在面对真实世界扰动时仍具鲁棒性，尽管整体错误率更高。