[论文解读] Separation Guided Speaker Diarization in Realistic Mismatched Conditions

Shutong Niu, Jun Du+2 more|arXiv (Cornell University)|Jul 6, 2021

Speech and Audio Processing参考文献 28被引用 5

一句话总结

该论文提出了一种分离引导的说话人打标框架（SGSD），通过动态选择聚类打标（CSD）与分离打标（SSD）结果，提升在真实不匹配条件下的重叠语音性能。通过利用语音时长不平衡、重叠比例和相对打标错误率的不稳定性检测，SGSD在DIHARD-III CTS数据集的开发集和测试集上分别将错误率（DER）降低了20.2%和20.8%。

ABSTRACT

We propose a separation guided speaker diarization (SGSD) approach by fully utilizing a complementarity of speech separation and speaker clustering. Since the conventional clustering-based speaker diarization (CSD) approach cannot well handle overlapping speech segments, we investigate, in this study, separation-based speaker diarization (SSD) which inherently has the potential to handle the speaker overlap regions. Our preliminary analysis shows that the state-of-the-art Conv-TasNet based speech separation, which works quite well on the simulation data, is unstable in realistic conversational speech due to the high mismatch speaking styles in simulated training speech and read speech. In doing so, separation-based processing can assist CSD in handling the overlapping speech segments under the realistic mismatched conditions. Specifically, several strategies are designed to select between the results of SSD and CSD systems based on an analysis of the instability of the SSD system performances. Experiments on the conversational telephone speech (CTS) data from DIHARD-III Challenge show that the proposed SGSD system can significantly improve the performance of state-of-the-art CSD systems, yielding relative diarization error rate reductions of 20.2% and 20.8% on the development set and evaluation set, respectively.

研究动机与目标

• 解决聚类打标（CSD）在真实对话场景中重叠语音段表现不佳的问题。
• 克服最先进的语音分离技术（如Conv-TasNet）在不匹配真实世界数据（如对话电话语音，CTS）中的不稳定性。
• 设计一种混合系统，通过智能选择基于分离可靠性的更优输出，充分发挥CSD与SSD的优势。
• 在训练与测试数据在说话风格上存在差异的真实不匹配条件下，提升DIHARD-III CTS数据集上的打标性能。

提出的方法

• 集成基于最先进的Conv-TasNet语音分离系统，生成用于说话人打标的分离语音（SSD）。
• 设计三种检测策略：(1) 语音时长不平衡检测（SGSD1），(2) 高重叠比例检测（SGSD2），(3) CSD与SSD之间相对打标错误率（DER）比较（SGSD3）。
• 以VBx-based聚类打标（CSD）作为基线系统，用于对比和在重叠区域的回退。
• 将SGSD3作为主要选择机制，利用SSD与CSD之间的相对DER评估分离可靠性，并指导系统输出。
• 结合多种检测策略（如SGSD1与SGSD2），以提升不稳定分离情况的检测能力。
• 在多个检测方法上应用投票或集成策略，但因误差传播导致收益递减。

实验结果

研究问题

• RQ1 在真实不匹配条件下，分离打标（SSD）是否能在重叠语音区域超越聚类打标（CSD）？
• RQ2 如何检测并缓解语音分离（如Conv-TasNet）在真实对话语音中的不稳定性，以提升打标可靠性？
• RQ3 在缺乏真实分离质量标注的情况下，哪些有效且可靠的指标可用于指导CSD与SSD输出的选择？
• RQ4 与独立的CSD或SSD相比，混合SGSD系统在真实世界不匹配CTS数据上的打标性能可提升多少？

主要发现

• 所提出的SGSD系统相较于基线CSD系统，在DIHARD-III CTS开发集上将打标错误率（DER）降低了20.2%，在测试集上降低了20.8%。
• SGSD3（以CSD与SSD之间的相对DER作为选择标准）在测试集上达到90%的检测准确率，优于单一策略，表现最佳。
• SGSD1与SGSD2的结合使检测准确率提升至85%（测试集），证明二者具有互补性。
• 尽管对全部三种策略进行投票，性能仍略有下降，归因于SGSD1与SGSD2的误差传播，表明集成设计存在权衡。
• CSD系统本身在开发集（4.2%）和测试集（3.7%）上均实现了较低的说话人错误率，但因无法处理重叠，导致漏检错误高达12.0%（开发集）。
• SGSD3将漏检错误从CSD的12.0%降低至7.6%（开发集），接近理想性能（7.5%漏检错误），证明其在处理重叠语音方面的有效性。