[论文解读] Narrow-band Deep Filtering for Multichannel Speech Enhancement

Xiaofei Li, Radu Horaud|arXiv (Cornell University)|Nov 25, 2019

Speech and Audio Processing参考文献 40被引用 16

一句话总结

本文提出窄带深度滤波，一种多通道语音增强方法，通过共享的长短期时变傅里叶变换（STFT）域LSTM网络独立处理每个频率分量。通过在含噪多通道STFT系数上进行训练，并以幅度比掩码、复数谱或空间滤波器为目标，该模型以极少的参数量实现了卓越的语音增强与自动语音识别（ASR）性能，并在不同噪声类型和说话人之间展现出强大的泛化能力。

ABSTRACT

In this paper, we address the problem of multichannel speech enhancement in the short-time Fourier transform (STFT) domain. A long short-time memory (LSTM) network takes as input a sequence of STFT coefficients associated with a frequency bin of multichannel noisy-speech signals. The network's output is the corresponding sequence of single-channel cleaned speech. We propose several clean-speech network targets, namely, the magnitude ratio mask, the complex STFT coefficients and the (smoothed) spatial filter. A prominent feature of the proposed model is that the same LSTM architecture, with identical parameters, is trained across frequency bins. The proposed method is referred to as narrow-band deep filtering. This choice stays in contrast with traditional wide-band speech enhancement methods. The proposed deep filtering is able to discriminate between speech and noise by exploiting their different temporal and spatial characteristics: speech is non-stationary and spatially coherent while noise is relatively stationary and weakly correlated across channels. This is similar in spirit with unsupervised techniques, such as spectral subtraction and beamforming. We describe extensive experiments with both mixed signals (noise is added to clean speech) and real signals (live recordings). We empirically evaluate the proposed architecture variants using speech enhancement and speech recognition metrics, and we compare our results with the results obtained with several state of the art methods. In the light of these experiments we conclude that narrow-band deep filtering has very good speech enhancement and speech recognition performance, and excellent generalization capabilities in terms of speaker variability and noise type.

研究动机与目标

• 解决宽带深度学习方法在多通道语音增强中的局限性，特别是对处理失真敏感以及参数量过高的问题。
• 探究窄带处理（即独立处理每个频率分量）是否能在保留无监督方法泛化优势的同时，利用深度学习的优势。
• 研究在窄带、多通道LSTM框架中，不同网络目标（如幅度比掩码、复数STFT、空间滤波器）的有效性。
• 证明在所有频率分量上使用单一共享LSTM架构，无需针对说话人或噪声类型进行微调，即可实现高性能。
• 评估在窄带设置下，使用不同训练目标时语音增强质量与ASR性能之间的权衡。

提出的方法

• 该方法通过共享的长短期时变傅里叶变换（STFT）域LSTM网络，独立处理每个STFT频率分量。
• LSTM的输入是单个频率分量的多通道STFT系数序列；输出是清洁语音估计的序列。
• 探索了四种训练目标：幅度比掩码（MRM）、复数STFT系数（CC）、空间滤波器（SF）以及平滑空间滤波器（SSF）。
• 模型通过LSTM记忆单元捕捉时序动态特性，并通过多通道输入利用空间多样性，将语音建模为非平稳且相干的信号，噪声建模为平稳且不相关的信号。
• 所有频率分量均使用相同的网络架构和参数，从而实现参数效率并具备强大的泛化能力。
• 该方法通过不建模频率间的相关性，避免了宽带处理中常见的失真问题，与全带方法形成对比。

实验结果

研究问题

• RQ1 窄带、逐频率处理的深度滤波方法是否能在多通道语音增强中超越宽带深度学习方法？
• RQ2 在窄带设置下，不同网络目标（MRM、CC、SF、SSF）如何影响语音增强与自动语音识别（ASR）性能？
• RQ3 在所有频率分量上训练单一共享LSTM是否能在保持性能的同时降低模型复杂度与数据需求？
• RQ4 与宽带方法相比，该窄带方法在不同说话人身份与噪声类型之间的泛化能力如何？
• RQ5 缺乏宽带谱建模是否能减少导致ASR性能下降的处理失真？

主要发现

• 该窄带深度滤波方法仅使用120万参数，即实现了当前最优的语音增强性能，远低于宽带模型（如WB-BLSTM2-SF，参数量达5460万）。
• BLSTM-SSF变体在4通道评估集上实现了8.20%的词错误率（WER），与先进的波束成形方法NN-GEV（WER：8.06%）相当，尽管其网络规模小得多。
• 在2通道情况下，所提方法采用BLSTM-SSF时实现了8.76%的WER，ASR性能优于波束成形器和宽带方法。
• 与幅度比掩码（MRM）相比，复数系数（CC）和空间滤波器（SF）目标在语音增强方面表现更优，尤其在4通道场景下，因能更好地利用丰富的空间特征。
• 对空间滤波器进行平滑处理（SSF）可减少时间抖动，从而提升ASR性能，尽管会轻微降低客观语音增强指标。
• 由于采用窄带、参数共享的设计，该模型在说话人差异和噪声类型变化方面表现出良好的泛化能力，无需微调即可保持高性能。