[论文解读] Pairwise Discriminative Neural PLDA for Speaker Verification

Shreyas Ramoji, Prashant Krishnan+2 more|arXiv (Cornell University)|Jan 20, 2020

Speech Recognition and Synthesis参考文献 21被引用 4

一句话总结

该论文提出了一种成对判别性神经PLDA模型，通过端到端方式联合学习说话人验证中x向量的预处理（LDA、归一化）与打分。通过反向传播反向传播这些层，并优化NIST SRE检测成本的软近似，该模型在CMN2条件下相比PLDA基线实现了30%的相对提升，在VAST条件下也实现了30%的相对提升，展现出更优的泛化能力并减少了过拟合。

ABSTRACT

The state-of-art approach to speaker verification involves the extraction of discriminative embeddings like x-vectors followed by a generative model back-end using a probabilistic linear discriminant analysis (PLDA). In this paper, we propose a Pairwise neural discriminative model for the task of speaker verification which operates on a pair of speaker embeddings such as x-vectors/i-vectors and outputs a score that can be considered as a scaled log-likelihood ratio. We construct a differentiable cost function which approximates speaker verification loss, namely the minimum detection cost. The pre-processing steps of linear discriminant analysis (LDA), unit length normalization and within class covariance normalization are all modeled as layers of a neural model and the speaker verification cost functions can be back-propagated through these layers during training. We also explore regularization techniques to prevent overfitting, which is a major concern in using discriminative back-end models for verification tasks. The experiments are performed on the NIST SRE 2018 development and evaluation datasets. We observe average relative improvements of 8% in CMN2 condition and 30% in VAST condition over the PLDA baseline system.

研究动机与目标

• 通过使用任务特定的损失函数，解决判别性后端在说话人验证中的过拟合问题。
• 将预处理步骤（LDA、归一化）与打分统一为一个端到端可训练的神经架构。
• 通过用NIST SRE检测成本的软近似替代二元交叉熵，提升在未见数据上的泛化能力。
• 探索从生成式PLDA初始化参数以提升性能。
• 证明参数高效的神经PLDA可优于标准PLDA和DPLDA在SRE 2018数据集上的表现。

提出的方法

• 该模型以一对x向量（注册和测试）作为输入，输出一个解释为缩放对数似然比的分数。
• 预处理步骤——LDA、单位长度归一化和WCCN——被建模为可微分的神经层，从而实现整个流程的反向传播。
• 使用NIST SRE最小检测成本（C_min）的可微软近似作为主要损失函数，以优先降低误报率。
• 模型使用4096–8192的批量大小进行训练，并采用学习率调度策略，在验证损失达到平台期时降低学习率。
• 网络可选择随机初始化，或使用Kaldi PLDA基线的参数进行初始化，以提升收敛速度和性能。
• 通过架构约束和损失函数的选择施加正则化，防止对训练说话人过拟合。

实验结果

研究问题

• RQ1 与标准PLDA相比，一种联合学习预处理和打分的神经后端是否能提升说话人验证中的泛化能力？
• RQ2 与二元交叉熵相比，优化NIST SRE检测成本是否能减少过拟合并提升在未见数据上的性能？
• RQ3 从生成式PLDA模型初始化参数对判别性神经PLDA性能有何影响？
• RQ4 架构设计与正则化对判别性说话人验证后端模型泛化能力的影响如何？
• RQ5 一种嵌入LDA、归一化和打分的可微分神经模型是否能在SRE 2018基准上超越传统PLDA和DPLDA？

主要发现

• 在SRE 2018开发集的CMN2条件下，所提出的神经PLDA模型相比PLDA基线在C_min上实现了10%的相对提升。
• 在VAST条件下，该模型在开发集上实现了38%的C_min相对提升，展现出强大的泛化能力。
• 在SRE 2018测试集上，该模型在CMN2条件下相比PLDA基线实现7%的相对提升，在VAST条件下实现23%的相对提升。
• 使用软检测成本损失函数相比二元交叉熵能显著提升泛化能力，尤其在分布外条件下表现更优。
• 使用Kaldi PLDA参数初始化神经PLDA可进一步提升性能，表明先验的生成知识有助于判别学习。
• 参数更少的模型比DPLDA泛化能力更强，表明减少自由度有助于缓解过拟合。