[论文解读] Permutation Invariant Training of Deep Models for Speaker-Independent Multi-talker Speech Separation

Dong Yu, Morten Kolbæk+2 more|arXiv (Cornell University)|Jul 1, 2016

Speech and Audio Processing参考文献 26被引用 7

一句话总结

本文提出了排列不变训练（PIT），一种新型的深度学习准则，通过在训练过程中寻找最优说话人-目标分配来直接最小化分离误差，解决了说话人无关的多说话人语音分离中长期存在的标签排列问题。PIT使模型能够泛化到未见过的说话人和语言，在WSJ0和丹麦混合语音数据集上显著提升了SDR性能，优于NMF、CASA和DPCL。

ABSTRACT

We propose a novel deep learning model, which supports permutation invariant training (PIT), for speaker independent multi-talker speech separation, commonly known as the cocktail-party problem. Different from most of the prior arts that treat speech separation as a multi-class regression problem and the deep clustering technique that considers it a segmentation (or clustering) problem, our model optimizes for the separation regression error, ignoring the order of mixing sources. This strategy cleverly solves the long-lasting label permutation problem that has prevented progress on deep learning based techniques for speech separation. Experiments on the equal-energy mixing setup of a Danish corpus confirms the effectiveness of PIT. We believe improvements built upon PIT can eventually solve the cocktail-party problem and enable real-world adoption of, e.g., automatic meeting transcription and multi-party human-computer interaction, where overlapping speech is common.

研究动机与目标

• 为解决基于深度学习的多说话人语音分离中长期存在的标签排列问题，该问题阻碍了说话人无关设置下的进展。
• 开发一种直接针对分离误差进行优化的训练准则，而非依赖多分类回归或聚类视角。
• 通过学习与说话人和语言无关的声学线索，实现对未见说话人和语言的良好泛化。
• 构建一种灵活、模块化的训练框架，可轻松与波束成形或复值重建等其他先进技术结合。

提出的方法

• PIT通过评估预测说话人输出的所有可能排列与真实源信号之间的匹配，将语音分离建模为直接误差最小化问题。
• 对于每个批次，PIT计算所有预测源信号排列的分离误差，并选择误差最小的排列来计算损失。
• 损失通过网络反向传播，实现端到端训练，隐式学习正确的说话人分配。
• 该方法兼容多种深度神经网络架构，包括DNN和CNN，并可扩展至多通道和复谱设置。
• PIT在推理阶段无需说话人标签，适用于真实世界中的鸡尾酒会场景。
• 该方法可与说话人追踪、波束成形或复值信号重建结合，进一步提升性能。

实验结果

研究问题

• RQ1 能否设计一种基于深度学习的训练准则，直接最小化说话人无关多说话人语音分离中的分离误差？
• RQ2 PIT在性能和对未见说话人及语言的泛化能力方面，与NMF、CASA和DPCL等现有方法相比如何？
• RQ3 PIT在多大程度上缓解了历史上限制基于深度学习语音分离进展的标签排列问题？
• RQ4 PIT能否有效与波束成形或复谱重建等先进技术结合？
• RQ5 PIT是否能实现类似人类听觉感知的说话人和语言无关声学线索的学习？

主要发现

• PIT在WSJ0和丹麦混合语音分离任务中均优于NMF、CASA和DPCL，实现了显著的SDR提升。
• 在WSJ0数据集上，PIT-DNN采用31×5输出窗口时，最优分配下SDR提升达9.29 dB，某些配置下甚至超过IRM最优解。
• PIT在未见说话人和语言上泛化良好：尽管在丹麦数据上训练时未接触英语，但对英语WSJ0数据的性能依然出色。
• 最优与默认说话人分配之间的性能差距在同性别情况下最大，且在输出窗口较小时更为显著，表明结合说话人追踪仍有改进空间。
• CNN始终优于DNN，但当输出窗口较小时性能增益减弱，表明对网络架构和超参数较为敏感。
• PIT支持端到端训练，可扩展至三说话人分离任务，并可与波束成形或复谱重建结合以获得进一步性能提升。