[论文解读] Sparsely Overlapped Speech Training in the Time Domain: Joint Learning of Target Speech Separation and Personal VAD Benefits

Qingjian Lin, Lin Yang+4 more|arXiv (Cornell University)|Jun 28, 2021

Speech and Audio Processing参考文献 26被引用 7

一句话总结

本文提出了一种联合学习框架，用于目标语音分离与个性化语音活动检测（VAD），采用加权 SI-SNR 损失以处理稀疏重叠语音，在干净稀疏重叠语音上实现 4.17 dB 的 SDR 提升，并通过仅将目标语音送入更深网络层，实现 23% 的推理加速，性能下降可忽略不计。

ABSTRACT

Target speech separation is the process of filtering a certain speaker's voice out of speech mixtures according to the additional speaker identity information provided. Recent works have made considerable improvement by processing signals in the time domain directly. The majority of them take fully overlapped speech mixtures for training. However, since most real-life conversations occur randomly and are sparsely overlapped, we argue that training with different overlap ratio data benefits. To do so, an unavoidable problem is that the popularly used SI-SNR loss has no definition for silent sources. This paper proposes the weighted SI-SNR loss, together with the joint learning of target speech separation and personal VAD. The weighted SI-SNR loss imposes a weight factor that is proportional to the target speaker's duration and returns zero when the target speaker is absent. Meanwhile, the personal VAD generates masks and sets non-target speech to silence. Experiments show that our proposed method outperforms the baseline by 1.73 dB in terms of SDR on fully overlapped speech, as well as by 4.17 dB and 0.9 dB on sparsely overlapped speech of clean and noisy conditions. Besides, with slight degradation in performance, our model could reduce the time costs in inference.

研究动机与目标

• 为解决标准 SI-SNR 损失在训练过程中目标说话人静默或缺失时的局限性。
• 通过在训练中引入多样的重叠比率，提升真实世界稀疏重叠语音下的目标语音分离性能。
• 通过集成个性化 VAD 模块，提前剪枝非目标语音，以减少推理时间。
• 通过共享网络组件，联合训练目标语音分离与个性化 VAD，以提升效率与性能。
• 通过平衡准确率与计算成本，实现目标语音分离系统的实际部署。

提出的方法

• 提出一种加权 SI-SNR 损失，根据目标语音的持续时间分配更高权重，并在目标缺失时返回零。
• 提出通过共享编码器和共享 TCN 堆栈，联合训练目标语音分离与个性化 VAD。
• 利用个性化 VAD 分支生成二值掩码，对非目标语音进行静音处理，降低对分离网络预测的依赖。
• 将个性化 VAD 分支置于早期 TCN 块之后，以实现对非目标段的早期剪枝，减少推理时间。
• 采用多任务学习设置，两个任务共享同一主干网络，分离与 VAD 分别使用独立的头部。
• 应用实时因子（RTF）指标评估推理速度，并对 VAD 分支位置进行消融实验。

实验结果

研究问题

• RQ1 加权 SI-SNR 损失能否有效处理目标说话人缺失的训练样本，避免梯度未定义？
• RQ2 与独立训练相比，目标语音分离与个性化 VAD 的联合学习是否能提升稀疏重叠语音下的性能？
• RQ3 通过个性化 VAD 实现的早期剪枝能否在不造成显著性能下降的前提下减少推理时间？
• RQ4 该模型在干净与嘈杂的稀疏重叠语音上的表现如何？重叠比率有何影响？
• RQ5 个性化 VAD 分支在网络中的最优位置是什么，以在速度与准确率之间取得平衡？

主要发现

• 所提方法在干净稀疏重叠语音上相比基线实现 4.17 dB 的 SDR 提升。
• 在嘈杂稀疏重叠语音上，SDR 提升 0.9 dB，表明对噪声具有鲁棒性，尽管增益小于干净条件下的表现。
• 在完全重叠语音上，SDRi 提升 1.73 dB，SI-SNRi 提升 2.23 dB，优于当前最先进方法 X-TasNet。
• 通过将个性化 VAD 分支置于第二个 TCN 块之后，模型将实时因子（RTF）相对最佳基线降低 23%，仅造成 1.47 dB 的 SDR 下降。
• 在非重叠段上，模型实现高达 20 dB 的 SDR 提升，凸显其在静默或单说话人区域的优异表现。
• 联合学习策略支持早期推理剪枝，理论上可在真实数据上实现 50% 的加速，因平均重叠比率较低。