[论文解读] Sandglasset: A Light Multi-Granularity Self-attentive Network For Time-Domain Speech Separation

Max W. Y. Lam, Jun Wang+2 more|arXiv (Cornell University)|Mar 1, 2021

Speech and Audio Processing参考文献 18被引用 4

一句话总结

Sandglasset 提出了一种轻量级、多粒度自注意力网络，用于时域语音分离，采用沙漏形架构，在各层中逐步粗化然后细化时间粒度。该模型仅使用 2.3M 参数，在 WSJ0-2mix 上实现 20.8 dB 的 SOTA SI-SNRi 分数，在 WSJ0-3mix 上实现 17.1 dB，分别优于先前 SOTA 模型 0.8 dB 和 2.4 dB，同时相比最小的先前模型，FLOPs 减少 66%，内存使用减少 58.4%。

ABSTRACT

One of the leading single-channel speech separation (SS) models is based on a TasNet with a dual-path segmentation technique, where the size of each segment remains unchanged throughout all layers. In contrast, our key finding is that multi-granularity features are essential for enhancing contextual modeling and computational efficiency. We introduce a self-attentive network with a novel sandglass-shape, namely Sandglasset, which advances the state-of-the-art (SOTA) SS performance at significantly smaller model size and computational cost. Forward along each block inside Sandglasset, the temporal granularity of the features gradually becomes coarser until reaching half of the network blocks, and then successively turns finer towards the raw signal level. We also unfold that residual connections between features with the same granularity are critical for preserving information after passing through the bottleneck layer. Experiments show our Sandglasset with only 2.3M parameters has achieved the best results on two benchmark SS datasets -- WSJ0-2mix and WSJ0-3mix, where the SI-SNRi scores have been improved by absolute 0.8 dB and 2.4 dB, respectively, comparing to the prior SOTA results.

研究动机与目标

• 通过在多个时间粒度上实现分层建模，解决固定分段大小模型在单通道语音分离中的局限性。
• 通过一种新颖的自注意力架构实现动态粒度，提升时域语音分离中的上下文建模能力和计算效率。
• 在保持或提升分离性能的同时，减少模型大小和计算成本，相比现有 SOTA 模型。
• 研究残差连接在相同粒度之间对分层网络瓶颈层中信息保留的作用。

提出的方法

• 该网络采用沙漏形架构，使用 N/2 个模块进行粗粒度到细粒度的处理，另 N/2 个模块用于细粒度到粗粒度的重建，实现多粒度特征建模。
• 每个模块在特定时间粒度上应用自注意力机制，以建模长程依赖关系，各模块的分段大小不同，以捕捉音素、音节和词汇。
• 在编码器和解码器路径中，相同粒度的特征之间应用残差连接，以保留信息并缓解梯度消失。
• 模型采用双路径分割策略，使用自注意力而非 RNN 处理局部和全局序列，以改善全局上下文建模。
• 应用一种后训练策略，通过动态混合同说话人语音样本，以增强泛化能力和收敛性。
• 该架构使用语音样本级别的置换不变训练（u-PIT）和时域损失进行端到端语音分离训练。

实验结果

研究问题

• RQ1 与固定分段大小的方法相比，多粒度特征建模是否能提升时域语音分离中的上下文表征？
• RQ2 在双路径分割框架的全局序列中，自注意力机制是否优于 RNN 以建模长程依赖？
• RQ3 在分层网络中，相同粒度之间的残差连接如何影响信息通过瓶颈层的保留？
• RQ4 轻量级架构是否能在显著减少模型大小和计算成本的同时实现 SOTA 性能？

主要发现

• Sandglasset 在 WSJ0-2mix 数据集上实现了 20.8 dB 的新 SOTA SI-SNRi 分数，优于先前 SOTA 模型 0.8 dB。
• 在 WSJ0-3mix 数据集上，Sandglasset 实现了 17.1 dB 的 SI-SNRi 分数，优于先前 SOTA 模型 2.4 dB。
• 该模型仅使用 2.3M 参数，是迄今为止报告的最轻量级单通道语音分离模型。
• 尽管性能优于 DPRNN，Sandglasset 相比最小的先前模型 DPRNN，仍将 FLOPs 减少 66.0%，内存使用减少 58.4%。
• 消融实验表明，若移除多粒度建模或残差连接，性能将显著下降，验证了其重要性。
• 后训练数据增强策略进一步提升了性能，证明其在增强模型泛化能力方面的有效性。