[论文解读] The DKU-DukeECE Systems for VoxCeleb Speaker Recognition Challenge 2020

Weiqing Wang, Danwei Cai+2 more|arXiv (Cornell University)|Oct 24, 2020

Speech Recognition and Synthesis参考文献 27被引用 22

一句话总结

本论文介绍了DKU-DukeECE系统在2020年VoxCeleb说话人识别挑战赛中的表现，提出了先进的说话人验证与语音区分离线。在赛道1中，系统结合了ResNet、ResNet-BAM与ECAPA-TDNN，采用分数归一化与融合策略，在VoxSRC20-dev数据集上实现了2.48%的EER；在赛道4中，系统采用迭代自监督学习、VAD、均匀分段、自注意力相似性建模与谱聚类，经微调后在dev-66数据集上将DER降低至6.46%，JER降低至28.58%。

ABSTRACT

In this paper, we present the system submission for the VoxCeleb Speaker Recognition Challenge 2020 (VoxSRC-20) by the DKU-DukeECE team. For track 1, we explore various kinds of state-of-the-art front-end extractors with different pooling layers and objective loss functions. For track 3, we employ an iterative framework for self-supervised speaker representation learning based on a deep neural network (DNN). For track 4, we investigate the whole system pipeline for speaker diarization, including voice activity detection (VAD), uniform segmentation, speaker embedding extraction, and clustering.

研究动机与目标

• 为VoxCeleb说话人识别挑战赛2020开发高性能的说话人验证与区分离线系统。
• 通过数据增强（包括噪声、混响与速度扰动）提升系统鲁棒性与泛化能力。
• 在赛道3中探索迭代自监督学习在说话人表征学习中的应用。
• 优化完整的区分离线流程，涵盖VAD、分段、嵌入提取、相似性建模与聚类。
• 通过端到端系统集成与微调，在VoxCeleb与VoxConverse开发集上实现最先进性能。

提出的方法

• 在赛道1中，系统使用ResNet、ResNet-BAM与ECAPA-TDNN，基于80维对数Mel滤波器组特征，采用全局统计池化与ArcFace损失进行说话人嵌入学习。
• 系统应用自适应对称分数归一化（AS-Norm），并通过校准权重（1, 1.2, 1）实现ResNet、ResNet-BAM与ECAPA-TDNN的分数级融合。
• 在赛道3中，采用迭代自监督框架，利用聚类生成的伪标签训练DNN，通过多轮迭代提升说话人嵌入表征。
• 在赛道4中，流程包括均匀分段（1.5秒，步长0.75秒）、基于ResNet的说话人嵌入提取（使用Softmax损失），以及基于自注意力的相似性建模以计算亲和矩阵。
• 相似性模块采用多头注意力网络，输入维度为256，头数为128，前馈层维度为1024，输出为Sigmoid缩放的亲和分数。
• 使用对称化并归一化的亲和矩阵进行谱聚类，通过0.99阈值估计说话人数量。

实验结果

研究问题

• RQ1 在不同测试条件下，不同前端提取器（ResNet、ResNet-BAM、ECAPA-TDNN）在说话人验证中的表现如何比较？
• RQ2 在低资源设置下，使用伪标签的迭代自监督学习是否能提升说话人表征学习效果？
• RQ3 基于自注意力的相似性建模在捕捉短段语音中说话人关系方面的有效性如何？
• RQ4 微调VAD、相似性与重叠检测模型对区分离线性能的影响是什么？
• RQ5 能否通过整合VAD、分段、嵌入、相似性与聚类的统一流程，在VoxConverse上实现最先进性能？

主要发现

• ResNet、ResNet-BAM与ECAPA-TDNN的融合系统在VoxSRC20-dev数据集上实现了2.48%的EER与0.1252的mDCF 0.05，优于各独立模型。
• 在赛道3中，经过两轮迭代自监督训练，minDCF从0.857降至0.479，EER从20.11%降至9.60%（在VoxCeleb1-H上）。
• 在150个开发录音上微调后，区分离线系统在开发集最后66个录音上实现了6.46%的DER与28.58%的JER。
• 在完整开发集（dev-all）上，未微调时DER为9.74%，经在保留子集上微调后降至6.46%。
• 自注意力相似性模型显著提升了亲和度估计，即使在分段长度不一的情况下也能实现准确的说话人聚类。
• 通过边界扩展的重叠检测提升了鲁棒性，在微调后于dev-66上实现了15.7%的JER。