[论文解读] The xx205 System for the VoxCeleb Speaker Recognition Challenge 2020

Xu Xiang|arXiv (Cornell University)|Oct 31, 2020

Speech Recognition and Synthesis参考文献 17被引用 8

一句话总结

该论文介绍了xx205系统，该系统在VoxCeleb说话人识别挑战赛2020年的两个赛道中均获得第二名。该系统采用深度卷积神经网络架构（ResNet、Res2Net、DPN），使用复合边缘Softmax损失以提升嵌入表示的判别能力，并通过分数归一化与系统融合，使封闭条件赛道的EER达到3.808%，minDCF为0.1958；开放条件赛道的EER为3.798%，minDCF为0.1942。

ABSTRACT

This report describes the systems submitted to the first and second tracks of the VoxCeleb Speaker Recognition Challenge (VoxSRC) 2020, which ranked second in both tracks. Three key points of the system pipeline are explored: (1) investigating multiple CNN architectures including ResNet, Res2Net and dual path network (DPN) to extract the x-vectors, (2) using a composite angular margin softmax loss to train the speaker models, and (3) applying score normalization and system fusion to boost the performance. Measured on the VoxSRC-20 Eval set, the best submitted systems achieve an EER of $3.808\%$ and a MinDCF of $0.1958$ in the close-condition track 1, and an EER of $3.798\%$ and a MinDCF of $0.1942$ in the open-condition track 2, respectively.

研究动机与目标

• 为在受限和开放训练数据条件下，开发高性能的说话人识别系统，以应对VoxSRC 2020挑战赛的要求。
• 探究多种深度卷积神经网络架构——ResNet、Res2Net和DPN——在说话人验证中用于x向量提取的有效性。
• 通过引入具有两个可调边缘的复合边缘Softmax损失函数，提升模型泛化能力和判别能力。
• 通过分数归一化和多模型集成融合，增强系统鲁棒性。
• 尽管存在领域偏移和短时测试语音，仍实现在封闭条件与开放条件评估集上的最先进性能。

提出的方法

• 系统使用40维Fbank特征，采用3秒滑动窗口进行均值归一化，未使用语音活动检测。
• 评估了多种CNN架构（ResNet、Res2Net、DPN）在x向量提取中的性能，其中DPN68表现最佳。
• 采用复合边缘Softmax（CM-Softmax）损失，其定义为 $ L_{\text{CM}} = -\frac{1}{N}\sum_{i=1}^{N}\log\frac{e^{s(\cos(\theta_{y_i,i}+m_1)-m_2)}}{e^{s(\cos(\theta_{y_i,i}+m_1)-m_2)} + \sum_{j\neq i}e^{s\cos(\theta_{j,i})}} $，其中 $ m_1 $ 和 $ m_2 $ 为可学习的边缘参数。
• 数据增强包括混响、MUSAN噪声、音乐和Babel噪声，每条原始语音生成四个额外的数据副本。
• 采用自适应对称归一化（s-norm）进行分数归一化，使用VoxCeleb2和VoxCelebCat的同群集，选取前400名说话人用于计算均值和标准差。
• 系统融合通过Bosaris工具包结合多个模型的余弦相似度与PLDA分数，对x向量应用LDA和长度归一化。

实验结果

研究问题

• RQ1 在VoxSRC 2020挑战赛中，ResNet、Res2Net和DPN等不同CNN架构在说话人嵌入提取中的性能表现如何比较？
• RQ2 使用具有两个可调边缘的复合边缘Softmax损失对说话人模型判别能力有何影响？
• RQ3 在存在领域偏移和短语音条件下，分数归一化与模型融合在VoxSRC 2020评估集上的性能提升程度如何？
• RQ4 与第1赛道相比，在第2赛道中引入额外的Librispeech训练数据，对系统鲁棒性与性能有何影响？
• RQ5 是否可以通过统一的系统流程，在最小领域偏移下实现对封闭条件与开放条件赛道的顶尖性能？

主要发现

• 在第1赛道中，基于DPN68且配置为B+β+3的最佳单系统在VoxSRC-20验证集上实现了2.865%的EER和0.1422的minDCF。
• 第1赛道的最终融合系统在VoxSRC-20测试集上实现了3.808%的EER和0.1958的minDCF，位列封闭条件赛道第二名。
• 在第2赛道中，最佳单系统在VoxSRC-20验证集上实现了2.731%的EER和0.1427的minDCF，融合系统在VoxSRC-20测试集上实现了3.798%的EER和0.1942的minDCF。
• 尽管存在领域偏移和更短的测试语音，第2赛道中引入额外的Librispeech数据仍带来性能的轻微提升。
• 使用来自VoxCeleb2和VoxCelebCat的前400名同群集的自适应s-norm分数归一化显著提升了系统的鲁棒性与泛化能力。
• 复合边缘Softmax损失在 $ m_1 = 0.2 $、$ m_2 = 0.1 $ 和缩放因子 $ s = 32.0 $ 的设置下，有效提升了类间可分性与类内紧凑性。