[论文解读] TF-GridNet: Making Time-Frequency Domain Models Great Again for Monaural Speaker Separation

Zhong-Qiu Wang, Samuele Cornell+4 more|arXiv (Cornell University)|Sep 8, 2022

Speech and Audio Processing被引用 7

一句话总结

TF-GridNet 提出了一种新颖的多路径深度神经网络，该网络在复数时频（T-F）域中运行，用于单耳说话人分离，通过利用帧内谱系、子带时序和全带自注意力模块来建模谱时模式。通过使用复数谱映射和一种新颖的混合一致性损失，其在 WSJ0-2mix 上实现了 23.4 dB 的 SI-SDRi，超越了先前的最先进时域模型，证明了当架构设计得当时，T-F 域模型可以优于时域对应模型。

ABSTRACT

We propose TF-GridNet, a novel multi-path deep neural network (DNN) operating in the time-frequency (T-F) domain, for monaural talker-independent speaker separation in anechoic conditions. The model stacks several multi-path blocks, each consisting of an intra-frame spectral module, a sub-band temporal module, and a full-band self-attention module, to leverage local and global spectro-temporal information for separation. The model is trained to perform complex spectral mapping, where the real and imaginary (RI) components of the input mixture are stacked as input features to predict target RI components. Besides using the scale-invariant signal-to-distortion ratio (SI-SDR) loss for model training, we include a novel loss term to encourage separated sources to add up to the input mixture. Without using dynamic mixing, we obtain 23.4 dB SI-SDR improvement (SI-SDRi) on the WSJ0-2mix dataset, outperforming the previous best by a large margin.

研究动机与目标

• 为单耳、说话人无关的无混响条件下的说话人分离任务，弥合时域模型与时频（T-F）域模型之间的性能差距。
• 探究在 T-F 域中使用复数谱映射是否能超越自 2019 年以来占据主导地位的现代时域模型（如 TasNet），尤其是在性能方面。
• 设计一种多路径深度神经网络架构，以有效捕捉 T-F 谱图中的局部（谱系和时序）和全局（跨帧）依赖关系。
• 引入一种新颖的时间域损失项，强制分离后的源信号之和能重建原始混合信号，从而提升源信号的一致性。
• 证明 T-F 域模型并非固有性能低下，其表现不佳是由于架构和训练方案设计不当所致，而非内在能力限制。

提出的方法

• TF-GridNet 采用多路径架构，包含三个并行分支：用于捕捉局部谱系模式的帧内谱系模块、用于建模短期时序动态的子带时序模块，以及用于捕捉长程跨帧依赖关系的全带自注意力模块。
• 通过将输入混合信号的实部和虚部（RI）分量堆叠作为输入特征，并预测每个目标说话人的 RI 分量，实现复数谱映射。
• 采用受 DPRNN 和 DPTNet 启发的双路径结构，同时处理频带和时帧，以建模频带间和帧间关系。
• 引入一种新颖的混合一致性损失，以促使预测的源信号之和接近原始混合信号，从而提升信号重建质量和分离性能。
• 模型使用尺度不变信噪比（SI-SDR）损失与新提出的混合一致性损失联合训练，无需动态混合或数据增强。
• 架构采用 Unfold 和 Deconv1D 操作，以高效处理 T-F 单元并实现更大的感受野，在降低内存消耗的同时保持性能。

Fig. 1 : Overview of proposed system.

实验结果

研究问题

• RQ1 在单耳说话人分离任务中，T-F 域中的复数谱映射是否能超越如 Conv-TasNet 和 DPRNN 等最先进的时域模型？
• RQ2 在多路径 T-F 模型中引入全带自注意力是否能通过捕捉长程时序依赖关系显著提升性能？
• RQ3 通过强制源信号之和的一致性，引入一种新颖的时间域损失是否能在不使用动态混合或数据增强的情况下提升分离质量？
• RQ4 时域与 T-F 域模型之间的性能差距是否源于架构限制，而非内在表征能力？
• RQ5 经过精心设计的 T-F 模型若结合复数谱映射，是否在泛化能力和鲁棒性方面优于时域模型？

主要发现

• TF-GridNet 在 WSJ0-2mix 数据集上实现了 23.4 dB 的 SI-SDRi，显著优于先前最先进时域模型（QDPN）的 22.1 dB SI-SDRi。
• 该结果未使用动态混合或数据增强，证明了其架构与损失设计的有效性。
• 引入全带自注意力模块后，性能从 22.5 dB 提升至 22.9 dB，且使用四个注意力头的效果优于单个注意力头。
• 增大模型规模——特别是嵌入维度 D 和隐藏单元数 H——可带来一致的性能增益，最终在 D=32 且 H=256 时达到 23.4 dB SI-SDRi。
• Unfold 与 Deconv1D 机制可在保持性能的同时，实现更大的感受野并降低内存消耗，即使在 D=16 和 I=8 的较小设置下也表现良好。
• 新颖的混合一致性损失带来了 0.2 dB 的性能提升（从 21.6 dB 提升至 21.8 dB SI-SDRi），表明其在强制信号一致性方面的有效性。

Fig. 2 : Proposed full-band self-attention module.