[论文解读] New Insights on Target Speaker Extraction

Mohamed Elminshawi, Wolfgang Mack+3 more|arXiv (Cornell University)|Feb 1, 2022

Speech and Audio Processing被引用 15

一句话总结

本文研究了在基于音频和视频的说话人提取（SE）方法中，辅助信息的作用，将其与使用共享双路RNN框架的无信息说话人分离（SS）方法进行对比。结果表明，辅助信息并未在所有情况下均能提升性能，尤其是在3人混合场景中，且系统表现严重依赖于训练数据组成和辅助信号质量。

ABSTRACT

Speaker extraction (SE) aims to segregate the speech of a target speaker from a mixture of interfering speakers with the help of auxiliary information. Several forms of auxiliary information have been employed in single-channel SE, such as a speech snippet enrolled from the target speaker or visual information corresponding to the spoken utterance. The effectiveness of the auxiliary information in SE is typically evaluated by comparing the extraction performance of SE with uninformed speaker separation (SS) methods. Following this evaluation protocol, many SE studies have reported performance improvement compared to SS, attributing this to the auxiliary information. However, such studies have been conducted on a few datasets and have not considered recent deep neural network architectures for SS that have shown impressive separation performance. In this paper, we examine the role of the auxiliary information in SE for different input scenarios and over multiple datasets. Specifically, we compare the performance of two SE systems (audio-based and video-based) with SS using a common framework that utilizes the recently proposed dual-path recurrent neural network as the main learning machine. Experimental evaluation on various datasets demonstrates that the use of auxiliary information in the considered SE systems does not always lead to better extraction performance compared to the uninformed SS system. Furthermore, we offer insights into the behavior of the SE systems when provided with different and distorted auxiliary information given the same mixture input.

研究动机与目标

• 通过在相同的深度学习框架下直接对比无信息说话人分离（SS），重新评估辅助信息在说话人提取（SE）中的有效性。
• 探究基于音频（SE-A）和基于视频（SE-V）的SE系统是否在各种数据集和混合条件下始终优于SS。
• 分析当提供失真或不匹配的辅助信号（包括非目标说话人的嵌入）时，SE系统的运行行为。
• 研究训练策略（特别是训练混合中说话人数量）对SE中辅助信息利用的影响。
• 挑战辅助信息始终能增强SE性能的假设，尤其是在复杂多说话人环境中。

提出的方法

• 采用共享双路循环神经网络（DPRNN）作为所有SE和SS系统的骨干架构，以确保公平比较。
• 使用语音注册片段（SE-A）或视觉特征（SE-V）作为辅助信号，指导目标说话人提取。
• 使用SDR、SIR和SAR等标准指标评估性能，并通过与SS输出的最优比较来评估相对增益。
• 通过将目标说话人嵌入与干扰者或非混合内（OOM）说话人嵌入混合，对辅助信号进行失真处理，以模拟真实世界中的噪声和错位。
• 在多个数据集上系统性地比较2人和3人混合场景下的SE性能，以评估泛化能力和鲁棒性。
• 通过改变辅助信号与目标和干扰者说话人之间的相似度，分析嵌入空间中的系统行为，揭示低相似度下的失效模式。

实验结果

研究问题

• RQ1 在使用相同深度学习架构的前提下，SE中使用辅助信息是否始终能带来优于无信息SS的性能？
• RQ2 辅助信号的质量和匹配度（例如来自目标、干扰者或非混合内说话人）如何影响SE系统的运行行为和输出质量？
• RQ3 训练数据组成（特别是混合中说话人数量）在多大程度上影响SE系统利用辅助信息的能力？
• RQ4 当提供不匹配的辅助信息时，SE系统是否可能完全无法提取任何说话人？若发生，其发生条件是什么？
• RQ5 在低信干比（SIR）环境下，辅助信息在SE中提供可测量优势的条件是什么？

主要发现

• 在SE中使用辅助信息并未在所有情况下均能提升性能，尤其在3人混合场景中，这挑战了辅助信号始终能增强提取效果的假设。
• 在2人混合场景中进行训练的SE系统，即使接收到非混合内（OOM）说话人的嵌入，仍倾向于提取目标或干扰者说话人，表明对不匹配输入具有鲁棒性。
• 相比之下，在3人混合场景中进行训练的SE系统，当接收到OOM嵌入时，常无法提取任何说话人，揭示了其对训练数据组成存在强烈依赖。
• 通过将辅助信号与干扰者嵌入混合进行失真处理，可能导致系统提取出干扰者，其性能与使用正确干扰者嵌入时相当。
• 当辅助信号显著不匹配时，系统可能完全无法提取任何说话人，尤其在低SIR条件下更为明显。
• SE-A在不同目标说话人注册语音片段下的性能保持基本稳定，表明系统对注册信号中的说话人内变化具有鲁棒性。