[论文解读] X-TaSNet: Robust and Accurate Time-Domain Speaker Extraction Network

Zining Zhang, Bingsheng He+1 more|arXiv (Cornell University)|Oct 24, 2020

Speech and Audio Processing参考文献 20被引用 8

一句话总结

X-TaSNet 是一种新颖的时域说话人提取网络，将预训练的说话人验证模型整合到卷积 TaSNet 框架中，即使目标说话人不存在，也能实现鲁棒且准确的目标说话人语音提取。通过引入基于失真的损失函数和交替训练方案，该方法在 SDRi 和 SI-SNRi 上均实现两倍于先前方法的性能提升，达到 95.4% 的说话人身份准确率，处于当前最先进水平。

ABSTRACT

Extracting the speech of a target speaker from mixed audios, based on a reference speech from the target speaker, is a challenging yet powerful technology in speech processing. Recent studies of speaker-independent speech separation, such as TasNet, have shown promising results by applying deep neural networks over the time-domain waveform. Such separation neural network does not directly generate reliable and accurate output when target speakers are specified, because of the necessary prior on the number of speakers and the lack of robustness when dealing with audios with absent speakers. In this paper, we break these limitations by introducing a new speaker-aware speech masking method, called X-TaSNet. Our proposal adopts new strategies, including a distortion-based loss and corresponding alternating training scheme, to better address the robustness issue. X-TaSNet significantly enhances the extracted speech quality, doubling SDRi and SI-SNRi of the output speech audio over state-of-the-art voice filtering approach. X-TaSNet also improves the reliability of the results by improving the accuracy of speaker identity in the output audio to 95.4%, such that it returns silent audios in most cases when the target speaker is absent. These results demonstrate X-TaSNet moves one solid step towards more practical applications of speaker extraction technology.

研究动机与目标

• 解决现有时域语音分离模型（如 TaSNet）在目标说话人不存在时缺乏说话人特异性定位与鲁棒性的问题。
• 开发一种统一框架，将说话人验证与时域语音分离相结合，无需事先知晓说话人数量。
• 在目标说话人可能未出现在混合音频的现实场景中时，提升模型的可靠性与音频质量。
• 提出新的评估指标——SISI-SNRi 和 NSR，以更准确反映在说话人缺失情况下的实际性能。

提出的方法

• X-TaSNet 通过将预训练的说话人验证模型（说话人编码器）集成到 Conv-TaSNet 中，将参考语音的说话人声纹嵌入输入混合信号。
• 模型使用可学习的编码器将原始波形转换为嵌入向量，并将这些向量与参考音频中提取的说话人嵌入进行拼接。
• 引入一种新型基于失真的损失函数，以优化掩码预测，提升在噪声或目标说话人缺失条件下的鲁棒性。
• 采用交替训练方案，联合优化分离与说话人验证组件，提升说话人身份与输出质量之间的对齐性。
• 模型集成了一种说话人存在性检测机制，当未检测到目标说话人时输出静音音频，从而提升在缺失场景下的可靠性。
• 提出新指标 SISI-SNRi（静音不变尺度不变 SNR 改进）与 NSR（负能量率），以公平评估在说话人缺失情况下的性能。

Figure 1: The overall workflow of X-TaSNet.

实验结果

研究问题

• RQ1 能否使时域语音分离模型在目标说话人缺失时仍保持鲁棒性，同时维持高质量输出？
• RQ2 如何有效将说话人验证知识整合进时域分离网络，实现在未知说话人数量前提下的精确说话人特异性提取？
• RQ3 在说话人提取任务中，哪些损失函数与训练策略最有效于同时提升音频质量与说话人身份准确率？
• RQ4 如何重新定义评估指标，以公平衡量在目标说话人未出现在混合音频中的情况下的性能？
• RQ5 所提方法在音频质量与可靠性方面，相较于现有说话人提取模型，其性能提升程度如何？

主要发现

• X-TaSNet 达到 95.4% 的说话人身份准确率，通过在目标说话人缺失时返回静音输出，显著提升了可靠性。
• 与当前最先进方法 VoiceFilter 相比，X-TaSNet 将 SDRi 和 SI-SNRi 性能提升一倍，在 LibriCSS 数据集上实现 15.57 的 SISI-SNRi 与 4.3% 的 NSR。
• X-TaSNet-SPIT（包含说话人存在性检测）实现 72.4% 的 NER（负能量率），证明了其在缺失检测中的有效性。
• SISI-SNRi 指标能有效捕捉在正确目标说话人被定位时的音频质量，避免了在静音输出中出现负的 SI-SNRi 值带来的偏差。
• X-TaSNet 在音频质量（7.31 vs. 15.57 SISI-SNRi）与鲁棒性方面均优于 VoiceFilter，尤其在缺失检测场景中表现更优。
• 结合基于失真的损失函数的交替训练方案显著增强了模型的鲁棒性与泛化能力，尤其在噪声或未见条件下表现突出。

Figure 2: The distribution of extracted absent speakers’ voice energy in dB. Voicefilter and X-TaSNet have scale difference since our measure is not scale-invariant. X-TaSNet returns silent audio over most of the arbitrary audios.