[论文解读] Multi-talker Speech Separation and Tracing with Permutation Invariant Training of Deep Recurrent Neural Networks.

Morten Kolbæk, Dong Yu+2 more|arXiv (Cornell University)|Mar 18, 2017

Speech and Audio Processing参考文献 27被引用 13

一句话总结

本文提出了一种基于RNN的端到端深度学习方法——话语级置换不变训练（uPIT），通过最小化话语级分离误差，消除推理阶段对置换对齐的需求。uPIT无需事先知晓说话人数量、身份或性别，即可实现说话人无关的多说话人语音分离，性能优于NMF、CASA，并与DPCL和DANet相当，同时在未见说话人和语言上具有良好的泛化能力。

ABSTRACT

In this paper we propose the utterance-level Permutation Invariant Training (uPIT) technique. uPIT is a practically applicable, end-to-end, deep learning based solution for speaker independent multi-talker speech separation. Specifically, uPIT extends the recently proposed Permutation Invariant Training (PIT) technique with an utterance-level cost function, hence eliminating the need for solving an additional permutation problem during inference, which is otherwise required by frame-level PIT. We achieve this using Recurrent Neural Networks (RNNs) that, during training, minimize the utterance-level separation error, hence forcing separated frames belonging to the same speaker to be aligned to the same output stream. In practice, this allows RNNs, trained with uPIT, to separate multi-talker mixed speech without any prior knowledge of signal duration, number of speakers, speaker identity or gender. We evaluated uPIT on the WSJ0 and Danish two- and three-talker mixed-speech separation tasks and found that uPIT outperforms techniques based on Non-negative Matrix Factorization (NMF) and Computational Auditory Scene Analysis (CASA), and compares favorably with Deep Clustering (DPCL) and the Deep Attractor Network (DANet). Furthermore, we found that models trained with uPIT generalize well to unseen speakers and languages. Finally, we found that a single model, trained with uPIT, can handle both two-speaker, and three-speaker speech mixtures.

研究动机与目标

• 为解决在不预先知晓说话人数量、身份或性别的情况下实现说话人无关的多说话人语音分离的挑战。
• 消除推理阶段必须解决置换问题的需求，而这是帧级置换不变训练（PIT）所必需的。
• 开发一个统一的模型，能够无需重新训练即可处理双说话人和三说话人混合信号。
• 相比现有方法，提升对未见说话人和语言的泛化能力。

提出的方法

• uPIT通过引入话语级损失函数，将帧级PIT扩展至话语级，该损失函数最小化整个话语的总分离误差，而非逐帧计算。
• 循环神经网络（RNNs）通过最小化话语级误差，被训练以将同一说话人的帧对齐到相同的输出流。
• 通过话语级目标在训练期间学习说话人特定的流对齐，从而在推理阶段避免置换问题。
• 模型在混合语音数据上进行端到端训练，无需说话人身份标注，仅依赖话语级损失来强制实现一致的说话人分离。
• 该方法应用于WSJ0和丹麦语数据集，处理双说话人和三说话人混合信号，利用RNN建模语音中的序列依赖关系。
• 训练目标确保同一说话人的帧始终被分配到相同的输出流，无论是否存在置换模糊性。

实验结果

研究问题

• RQ1 一个端到端的深度学习模型是否能够在推理阶段无需解决置换问题的情况下，实现说话人无关的多说话人语音分离？
• RQ2 与帧级PIT相比，使用话语级损失进行训练是否能提升对未见说话人和语言的泛化能力？
• RQ3 一个单一的uPIT模型是否能够在不重新训练的情况下，有效分离双说话人和三说话人混合信号？
• RQ4 uPIT在标准多说话人分离基准测试中，与NMF、CASA、DPCL和DANet相比性能如何？

主要发现

• uPIT在WSJ0和丹麦语数据集上均优于非负矩阵分解（NMF）和计算听觉场景分析（CASA）。
• uPIT在相同基准测试中达到与深度聚类（DPCL）和深度吸引子网络（DANet）相当的性能。
• 在训练分布之外的未见说话人和语言上，uPIT模型表现出良好的泛化能力，展现出强鲁棒性。
• 一个在双说话人和三说话人混合信号上联合训练的单一uPIT模型，无需重新训练或架构调整，即可成功处理两种场景。
• 话语级训练目标有效解决了推理阶段的置换模糊性，消除了对后处理置换匹配的需求。
• 该方法在无需训练阶段提供说话人身份或性别信息的情况下，实现了端到端方法中的最先进性能。