[论文解读] Overlap-aware diarization: resegmentation using neural end-to-end overlapped speech detection

Latané Bullock, Hervé Bredin+1 more|arXiv (Cornell University)|Oct 25, 2019

Speech Recognition and Synthesis参考文献 21被引用 85

一句话总结

该论文提出了一种基于 LSTM 的重叠语音检测器和一个重新分段模块，在重叠区域为第二个说话人进行分配，在AMI Headset mix上实现了DER的state-of-the-art改进，并引入一个两阶段、具备重叠感知的说话人去向分离流程。

ABSTRACT

We address the problem of effectively handling overlapping speech in a diarization system. First, we detail a neural Long Short-Term Memory-based architecture for overlap detection. Secondly, detected overlap regions are exploited in conjunction with a frame-level speaker posterior matrix to make two-speaker assignments for overlapped frames in the resegmentation step. The overlap detection module achieves state-of-the-art performance on the AMI, DIHARD, and ETAPE corpora. We apply overlap-aware resegmentation on AMI, resulting in a 20% relative DER reduction over the baseline system. While this approach is by no means an end-all solution to overlap-aware diarization, it reveals promising directions for handling overlap.

研究动机与目标

• 在存在重叠语音时推动鲁棒的 diarization（说话人分离/识别）。
• 开发一个基于端到端或 MFCC 特征的神经网络重叠语音检测器（OSD）。
• 提出一种重分段方法，使用 VB-HMM 后验在重叠区域为第二说话人进行分配。
• 评估重叠检测与分配对 diarization 性能（DER）的影响。
• 提供可重复基线和开源资源，以促进后续研究。

提出的方法

• 将重叠语音检测形式化为每帧二元标签的序列标注任务。
• 在固定长度的片段上训练基于 LSTM 的检测器（端到端波形或 MFCC 特征），进行数据增强，包括人为制造的重叠以实现样本平衡。
• 用带有重叠的滑动窗口处理测试音频，并在窗口之间对分数取平均以阈值化重叠标签。
• 使用 VB-HMM 重新分段，将 i-vector 后验作为软说话人后验矩阵，仅在重叠帧中为第二说话人分配。
• 将 VB-HMM 的主说话人序列与次要说话人分配结合，形成一个联合 diarization 假设。

Fig. 1 : The proposed pipeline for speaker diarization. The baseline incorporates end-to-end neural voice activity detection, speaker change detection, and speaker embeddings, with clustering performed via affinity propagation [ 11 ] . It is available in pyannote.audio toolkit [ 12 ] . The grey boxe

实验结果

研究问题

• RQ1 端到端的重叠语音检测器是否能在不同语料（AMI、DIHARD II、ETAPE）上超越基于手工特征的基线以进行重叠检测？
• RQ2 将重叠感知的重新分段与第二说话人假设结合，是否能在像 AMI Headset mix 这样的具有挑战性的数据集上降低 DER？
• RQ3 Oracle 与预测的重叠检测与分配在 DER 和错误组成部分（虚警、漏检、说话人混淆）上有何影响？

主要发现

• 端到端的重叠语音检测在 AMI、DIHARD II 和 ETAPE 数据集上达到最新的精确率/召回率。
• 带有第二说话人的重叠感知重新分段在 AMI Headset mix 上实现了相对 DER 下降 20%（从 29.7% 降至 23.8%）。
• VB-HMM 重新分段略微减少了说话人混淆；主要收益来自于重叠感知的分配。
• 在使用 oracle 重叠检测和 oracle 分配时，DER 进一步降至 11.8%，突显在次要说话人分配方面仍有改进空间。
• 高精度检测减少了漏检，但可能略微增加虚警，除非检测/分配得到改进，否则次要说话人分配可能提高混淆。
• 在 AMI Headset mix 上，该方法在 DER 上树立了新的最先进水平，展示了重叠感知 diarization 的潜力。

Fig. 2 : To increase the number of positive training samples for overlapped speech detection, artificial audio chunks are created by summing two random audio chunks.