[论文解读] The IDLAB VoxCeleb Speaker Recognition Challenge 2020 System Description

Jenthe Thienpondt, Brecht Desplanques+1 more|arXiv (Cornell University)|Oct 23, 2020

Speech Recognition and Synthesis参考文献 28被引用 15

一句话总结

本论文展示了在2020年VoxCeleb说话人识别挑战赛中表现最佳的系统，结合了大 margin 微调与质量感知的分数校准方法用于有监督验证，以及对比学习与迭代聚类方法用于无监督验证。最终融合模型在VoxCeleb1上达到2.1%的EER，在VoxSRC-20上达到7.2%的EER，展现出接近有监督方法的最先进性能。

ABSTRACT

In this technical report we describe the IDLAB top-scoring submissions for the VoxCeleb Speaker Recognition Challenge 2020 (VoxSRC-20) in the supervised and unsupervised speaker verification tracks. For the supervised verification tracks we trained 6 state-of-the-art ECAPA-TDNN systems and 4 Resnet34 based systems with architectural variations. On all models we apply a large margin fine-tuning strategy, which enables the training procedure to use higher margin penalties by using longer training utterances. In addition, we use quality-aware score calibration which introduces quality metrics in the calibration system to generate more consistent scores across varying levels of utterance conditions. A fusion of all systems with both enhancements applied led to the first place on the open and closed supervised verification tracks. The unsupervised system is trained through contrastive learning. Subsequent pseudo-label generation by iterative clustering of the training embeddings allows the use of supervised techniques. This procedure led to the winning submission on the unsupervised track, and its performance is closing in on supervised training.

研究动机与目标

• 在2020年VoxCeleb说话人识别挑战赛中，实现有监督与无监督说话人验证的最先进性能。
• 通过架构改进与训练策略提升说话人验证模型的鲁棒性与泛化能力。
• 利用自监督对比学习与伪标签方法，缩小有监督与无监督说话人验证之间的性能差距。
• 开发一种质量感知的校准方法，确保在不同语音段长度下保持一致的决策阈值。
• 证明通过迭代聚类进行无监督训练可使模型性能接近有监督方法的水平。

提出的方法

• 训练了6个ECAPA-TDNN与4个基于ResNet34的模型，采用架构变体，包括动态空洞卷积、子中心AAM-Softmax以及双向LSTM层。
• 应用大 margin 微调，采用更大的 margin（0.5）、更长的6秒语音片段以及HPM采样策略，以增强决策边界的分离效果。
• 通过在30k次试验（短-短、短-长、长-长）上使用逻辑回归实现质量感知的分数校准，采用对称的质量度量函数。
• 使用带有在线数据增强与重叠最小化的对比学习方法，训练自监督嵌入提取器。
• 通过小批量k-means与AHC（凝聚层次聚类）执行迭代聚类，生成高质量的伪标签，用于后续的有监督微调。
• 在伪标签数据上微调一个具有2048通道与2个子中心AAM的大规模ECAPA-TDNN，随后进行大 margin 微调，并与迭代聚类模型进行分数平均。

实验结果

研究问题

• RQ1 在初始训练后应用大 margin 微调，是否能显著提升有监督说话人验证的性能？
• RQ2 质量感知的分数校准在不同语音段长度下是否能有效保持一致的EER？
• RQ3 通过迭代聚类的对比学习在多大程度上能生成高质量伪标签，使无监督模型性能接近有监督基线？
• RQ4 在VoxSRC-20上，迭代聚类的最优聚类数量是多少，以最大化说话人验证的准确率？
• RQ5 融合采用不同架构与训练策略训练的多个模型，是否能带来说话人验证中更优的泛化性能？

主要发现

• 有监督系统在原始VoxCeleb1测试集上达到2.1%的EER，在开放与封闭赛道均排名第一。
• 无监督系统在VoxSRC-20测试集上，经与微调的大规模ECAPA-TDNN进行分数平均后，达到7.2%的EER，性能强劲，接近有监督基线。
• 使用7.5K个聚类的迭代聚类取得最佳性能，在VoxSRC-20验证集上将EER降低至6.5%，相比初始对比学习模型相对提升64%。
• 对比学习基线在VoxCeleb1上达到7.3%的EER，在VoxSRC-20验证集上达到18.0%的EER，展现出强大的自监督表征学习能力。
• 采用6秒语音片段与增大margin（0.5）的大 margin 微调显著提升了泛化能力，尤其在与质量感知校准结合时效果更佳。
• 质量感知校准有效减少了不同语音段长度类型下的EER波动，提升了决策阈值的鲁棒性。