[论文解读] VAE-based regularization for deep speaker embedding

Yang Zhang, Lantian Li+1 more|arXiv (Cornell University)|Apr 7, 2019

Speech Recognition and Synthesis参考文献 22被引用 4

一句话总结

本文提出一种基于变分自编码器（VAE）的正则化方法，将非高斯的x-vectors转换为更接近高斯分布的潜在编码，从而提升与PLDA评分的兼容性。通过结合变分自编码与说话人一致性损失，该方法在SITW和CSLT-SITW数据集上实现了最先进性能，优于x-vectors以及PCA和AE等其他正则化方法。

ABSTRACT

Deep speaker embedding has achieved state-of-the-art performance in speaker recognition. A potential problem of these embedded vectors (called `x-vectors') are not Gaussian, causing performance degradation with the famous PLDA back-end scoring. In this paper, we propose a regularization approach based on Variational Auto-Encoder (VAE). This model transforms x-vectors to a latent space where mapped latent codes are more Gaussian, hence more suitable for PLDA scoring.

研究动机与目标

• 为解决深度神经网络生成的x-vectors无约束且非高斯分布的问题，导致PLDA性能下降。
• 利用变分自编码器（VAE）架构，将x-vectors正则化为更接近高斯分布的潜在空间。
• 通过引入说话人一致性损失，进一步约束说话人条件分布，提升正则化效果。
• 证明VAE正则化与PLDA评分具有互补性，可同时提升余弦相似度与PLDA评分性能。

提出的方法

• 训练VAE将原始x-vectors映射到潜在空间，使说话人编码的边缘分布近似为高斯分布。
• VAE使用重参数化技巧，实现变分后验与先验的端到端联合训练。
• 引入说话人一致性损失，促使潜在空间中的说话人条件分布更接近高斯分布，与PLDA假设保持一致。
• 通过联合优化重构损失、KL散度和一致性损失，同时正则化边缘分布与条件分布。
• 将所得潜在编码（v-vectors和c-vectors）用于下游评分，采用余弦相似度或PLDA方法。
• 在SITW和CSLT-SITW数据集上评估该方法，与x-vectors、PCA、AE及PLDA基线进行对比。

实验结果

研究问题

• RQ1 VAE能否有效将非高斯的x-vectors正则化为更适合PLDA评分的更接近高斯分布的潜在空间？
• RQ2 引入说话人一致性损失是否能改善潜在空间中说话人条件分布的正则化效果？
• RQ3 在说话人验证任务中，基于VAE的正则化方法相较于PCA和AE等无监督方法表现如何？
• RQ4 VAE正则化与PLDA是否具有互补性，还是可替代PLDA在评分中的作用？
• RQ5 VAE正则化表示在CSLT-SITW等域外设置下是否具备更好的泛化能力？

主要发现

• 在SITW开发集核心数据集上，VAE正则化的c-vector在L-PLDA下达到3.31%的EER，优于x-vector基线（L-PLDA下为3.12%）和余弦相似度（EER为9.05%）。
• 在SITW评估集核心数据集上，c-vector在L-PLDA下达到3.53%的EER，显著优于x-vector基线（L-PLDA下为3.80% EER）。
• 在CSLT-SITW的域外测试中，c-vector在P-PLDA下达到11.98%的EER，相比SITW的增益更大，表明其在复杂声学条件下的鲁棒性。
• v-vectors和c-vectors的偏度与峰度显著低于x-vectors，证实其分布更接近高斯分布，尤其在说话人层面表现更优。
• PCA和AE未能产生有效正则化，表现为更高的EER和更低的高斯性，凸显VAE的概率建模特性的重要性。
• VAE正则化隐式地正则化了先验分布，使其更适用于PLDA建模，表现为说话人层面统计量峰度降低。