[论文解读] Neural Speech Separation Using Spatially Distributed Microphones

Dongmei Wang, Zhuo Chen+1 more|arXiv (Cornell University)|Apr 28, 2020

Speech and Audio Processing参考文献 24被引用 5

一句话总结

本文提出了一种适用于空间分布麦克风的神经语音分离方法，该方法对麦克风的数量和排列方式具有不变性。该方法采用交错的自注意力机制（用于通道间处理）与双向LSTM（用于时序建模）层，随后通过全局平均池化估计时频掩码，在远距离语音识别任务中相比基线模型显著降低了词错误率（WER）。

ABSTRACT

This paper proposes a neural network based speech separation method using spatially distributed microphones. Unlike with traditional microphone array settings, neither the number of microphones nor their spatial arrangement is known in advance, which hinders the use of conventional multi-channel speech separation neural networks based on fixed size input. To overcome this, a novel network architecture is proposed that interleaves inter-channel processing layers and temporal processing layers. The inter-channel processing layers apply a self-attention mechanism along the channel dimension to exploit the information obtained with a varying number of microphones. The temporal processing layers are based on a bidirectional long short term memory (BLSTM) model and applied to each channel independently. The proposed network leverages information across time and space by stacking these two kinds of layers alternately. Our network estimates time-frequency (TF) masks for each speaker, which are then used to generate enhanced speech signals either with TF masking or beamforming. Speech recognition experimental results show that the proposed method significantly outperforms baseline multi-channel speech separation systems.

研究动机与目标

• 解决在麦克风数量和空间排列未知且可变的自组织麦克风阵列中进行多通道语音分离的挑战。
• 克服依赖于已知几何结构和固定输入尺寸的固定阵列神经网络的局限性。
• 开发一种对麦克风数量、顺序和空间配置均具有不变性的模型，同时利用空间与时序相关性。
• 提升在手机等分布式设备真实录音中自动语音识别（ASR）的性能。
• 通过时频掩码和MVDR波束成形技术，验证在重叠语音分离中的有效性。

提出的方法

• 使用一种新颖的时空处理模块，交替进行通道间处理与时序处理层。
• 沿通道维度应用多头点积自注意力机制，以融合可变数量麦克风之间的空间信息。
• 在通道间处理后，对每条通道的输出使用双向LSTM（BLSTM）层进行时序建模。
• 堆叠多个时空模块，以逐步捕捉联合的空间-时序依赖关系。
• 在最后一个模块之后，对通道维度进行全局平均池化，以融合多通道信息并用于掩码估计。
• 为每位说话人估计时频掩码，该掩码可用于时频掩码处理或MVDR波束成形，以生成增强后的语音。

Figure 1: Block diagram of proposed model.

实验结果

研究问题

• RQ1 神经网络是否能在麦克风数量和排列未知且可变的自组织麦克风阵列中实现鲁棒的语音分离？
• RQ2 交错的通道间处理与时序处理是否优于顺序处理，在建模多通道语音信号方面表现更优？
• RQ3 在真实世界分布式麦克风条件下，该方法与基线系统相比在ASR性能上表现如何？
• RQ4 该模型在MVDR波束成形中对参考通道选择错误的鲁棒性如何？
• RQ5 增加分布式麦克风数量是否能持续提升该架构的分离性能？

主要发现

• 所提方法在使用MVDR波束成形时，词错误率（WER）达到16.11%，显著优于多流基线模型（24.18%）和关系特征基线模型（21.63%）。
• 在使用时频掩码时，该模型将WER降低至17.75%，而多流基线模型的WER为28.66%。
• 与多流基线模型相比，该模型对通道选择错误的敏感性显著更低：后者在参考通道从最优（oracle）切换至随机选择时，WER从21.68%上升至30.66%，而该模型仅从16.71%上升至17.85%。
• 该模型的性能随着输入麦克风数量的增加而持续提升，而多流基线模型在超过四个麦克风后性能提升微乎其微。
• 消融实验表明，若移除交错结构，性能下降至20.89% WER（MVDR），表明交替进行空间与时序建模的重要性。
• 该模型对麦克风数量和排列顺序具有鲁棒性，在麦克风数量或顺序改变时性能无下降。

Figure 2: %WERs for different channel numbers.