[论文解读] Multi-scale Speaker Diarization with Dynamic Scale Weighting

Tae Jin Park, Nithin Rao Koluguri+2 more|arXiv (Cornell University)|Mar 30, 2022

Speech Recognition and Synthesis被引用 4

一句话总结

本文提出一种多尺度说话人打标系统，采用一维卷积神经网络（1D CNN）实现动态尺度加权机制，以在每个时间步自适应分配不同时间尺度的重要性。通过多尺度聚类初始化，并采用基于LSTM的解码器逐帧估计说话人标签，该方法在CALLHOME数据集上实现3.92%的DER，在AMI MixHeadset数据集上实现1.05%的DER，达到当前最优性能，支持重叠感知打标与灵活的说话人数量估计，且无需迭代优化。

ABSTRACT

Speaker diarization systems are challenged by a trade-off between the temporal resolution and the fidelity of the speaker representation. By obtaining a superior temporal resolution with an enhanced accuracy, a multi-scale approach is a way to cope with such a trade-off. In this paper, we propose a more advanced multi-scale diarization system based on a multi-scale diarization decoder. There are two main contributions in this study that significantly improve the diarization performance. First, we use multi-scale clustering as an initialization to estimate the number of speakers and obtain the average speaker representation vector for each speaker and each scale. Next, we propose the use of 1-D convolutional neural networks that dynamically determine the importance of each scale at each time step. To handle a variable number of speakers and overlapping speech, the proposed system can estimate the number of existing speakers. Our proposed system achieves a state-of-art performance on the CALLHOME and AMI MixHeadset datasets, with 3.92% and 1.05% diarization error rates, respectively.

研究动机与目标

• 解决说话人打标中时间分辨率与说话人表征保真度之间的权衡问题。
• 实现在无需后处理或重新分割的情况下，实现重叠感知的打标。
• 支持灵活的说话人数量，包括在推理过程中未知或可变的说话人数量。
• 通过动态加权多尺度表征，提升基于聚类与序列模型的打标系统性能。

提出的方法

• 系统使用预训练的说话人嵌入提取器（TitaNet）生成帧级嵌入。
• 多尺度聚类通过在多个时间尺度上估计说话人数量和平均说话人表征，初始化系统。
• 一维卷积神经网络（1D CNN）基于输入嵌入和聚类中心，在每个时间步计算动态尺度权重。
• 利用尺度权重计算说话人嵌入与聚类表征之间的加权余弦相似度。
• 基于LSTM的序列模型逐帧预测二值说话人标签，通过多维Sigmoid输出实现重叠感知打标。
• 通过在所有说话人对上平均Sigmoid输出来推断说话人标签，从而灵活处理未知的说话人数量。

Figure 1: Data-flow of the proposed multi-scale speaker diarization system.

实验结果

研究问题

• RQ1 动态尺度加权机制是否能提升在多个时间分辨率下的打标性能？
• RQ2 与静态或优化的尺度权重相比，动态尺度加权在基于聚类的初始化中表现如何？
• RQ3 端到端序列模型结合聚类初始化是否能在无需迭代优化的情况下处理可变数量的说话人？
• RQ4 所提系统在标准基准上相较于现有最先进模块化与端到端打标系统，性能提升程度如何？
• RQ5 动态加权机制是否能降低多尺度打标中对超参数调优的依赖？

主要发现

• 所提出的Equal-w-MSDD系统在CALLHOME测试集上实现3.92%的打标错误率（DER），优于先前最先进方法。
• 在AMI MixHeadset数据集上，系统实现1.05%的DER，创下新的最先进性能记录。
• Opt-w-MSDD变体（使用优化的尺度权重）性能略优于Equal-w-MSDD，但后者在无需超参数调优的情况下展现出更强鲁棒性。
• 由于对尺度权重调优的敏感性降低，系统在未知领域中表现出稳定性能，相较于先前基于聚类的多尺度方法更具优势。
• 动态尺度加权机制实现了有效的重叠感知打标，无需额外的重新分割或迭代优化步骤。
• 即使在最细时间尺度低于0.5秒时，系统仍保持高精度，但在极短尺度下性能略有下降。

Figure 2: Cosine similarity values from each speaker and each scale are weighted by the scale weights to form a weighted cosine similarity vector.