[论文解读] Sequential Multi-Frame Neural Beamforming for Speech Separation and Enhancement

Zhong-Qiu Wang, Hakan Erdoğan+6 more|arXiv (Cornell University)|Nov 18, 2019

Speech and Audio Processing参考文献 35被引用 5

一句话总结

本文提出了一种顺序多帧神经波束成形方法，通过在基于深度神经网络（DNN）的频谱分离与多帧时不变波束成形之间交替进行，以提升混响环境中语音分离与增强的性能。通过使用稳定化的信噪比（SNR）损失、TDCN++架构以及波束成形中的多帧上下文，该方法在四个任务上实现了平均2.75 dB的尺度不变信噪比（SI-SNR）提升，并将语音分割错误率降低了14.2%，在真实LibriCSS数据上优于强基线模型。

ABSTRACT

This work introduces sequential neural beamforming, which alternates between neural network based spectral separation and beamforming based spatial separation. Our neural networks for separation use an advanced convolutional architecture trained with a novel stabilized signal-to-noise ratio loss function. For beamforming, we explore multiple ways of computing time-varying covariance matrices, including factorizing the spatial covariance into a time-varying amplitude component and a time-invariant spatial component, as well as using block-based techniques. In addition, we introduce a multi-frame beamforming method which improves the results significantly by adding contextual frames to the beamforming formulations. We extensively evaluate and analyze the effects of window size, block size, and multi-frame context size for these methods. Our best method utilizes a sequence of three neural separation and multi-frame time-invariant spatial beamforming stages, and demonstrates an average improvement of 2.75 dB in scale-invariant signal-to-noise ratio and 14.2% absolute reduction in a comparative speech recognition metric across four challenging reverberant speech enhancement and separation tasks. We also use our three-speaker separation model to separate real recordings in the LibriCSS evaluation set into non-overlapping tracks, and achieve a better word error rate as compared to a baseline mask based beamformer.

研究动机与目标

• 通过在频域与空域处理之间采用新颖的交替框架，提升在混响多声源环境下的语音分离与增强性能。
• 通过引入多帧上下文与自适应协方差估计，解决单阶段波束成形与掩蔽方法的局限性。
• 开发一种对几何结构不敏感的鲁棒模型，使其能泛化至未见过的麦克风配置与真实录音条件。
• 通过顺序优化提升源分离质量，降低下游自动语音识别（ASR）任务中的词错误率。

提出的方法

• 该方法在基于DNN的时频掩蔽与多通道维纳滤波（MCWF）之间交替进行，最多执行三轮分离与波束成形的顺序处理。
• 采用稳定化的信噪比（SNR）损失函数训练TDCN++网络，以提升掩蔽预测与分离性能。
• 时不变波束成形利用更大时间窗内计算的多帧协方差矩阵，提升空间分辨率与噪声抑制能力。
• 通过在协方差估计前聚合多帧信息，将多帧上下文整合至波束成形中，增强对噪声与混响的鲁棒性。
• 掩蔽网络与波束成形分别使用不同的STFT参数（掩蔽网络使用较小窗口，波束成形使用较大窗口），实现频域与空域处理的独立优化。
• 模型在合成混合信号与Libri-Light数据上进行训练，使其能泛化至真实世界中不匹配的条件，如不同麦克风阵列与房间几何结构。

实验结果

研究问题

• RQ1 在混响语音分离任务中，交替使用基于DNN的频谱分离与波束成形是否能提升性能？
• RQ2 与单帧方法相比，波束成形中引入多帧上下文对分离与增强质量有何影响？
• RQ3 与共享参数相比，为掩蔽预测与波束成形分别使用独立的STFT参数是否能带来更好的性能？
• RQ4 在合成数据上训练的模型，其在真实世界中未见过的麦克风配置与房间条件下的泛化能力如何？
• RQ5 与基于掩蔽的波束成形基线相比，顺序多帧波束成形是否能降低端到端ASR系统中的词错误率？

主要发现

• 所提出的顺序多帧波束成形方法在四个具有挑战性的混响语音分离任务中，实现了平均2.75 dB的尺度不变信噪比（SI-SNR）提升。
• 与强基线相比，该方法在绝对值上将语音分割错误率（DER）降低了14.2%，表明源分离质量显著提升。
• 在LibriCSS评估集上，使用端到端ASR模型时，该模型实现了12.70%的受限排列词错误率（cpWER），优于基于掩蔽的MVDR波束成形基线（13.37%）。
• 性能最佳的配置采用三轮顺序处理，包括基于DNN的掩蔽与多帧时不变波束成形，并使用大上下文窗口。
• 尽管在合成数据上进行训练，该模型在麦克风几何结构不匹配与未见过的房间声学条件下的真实录音中仍表现出良好的泛化能力，在LibriCSS数据集上实现了高性能。
• 采用时不变协方差矩阵的多帧波束成形显著优于单帧与时变替代方案，尤其在非运动声源场景下表现更优。