[论文解读] Unsupervised Adaptation of SPLDA

Jesús Villalba|arXiv (Cornell University)|Nov 20, 2015

Speech Recognition and Synthesis参考文献 2被引用 3

一句话总结

本文提出一种变分贝叶斯方法，仅使用无标签数据即可实现无监督的说话人自适应i向量线性判别分析（SPLDA）域自适应。通过将说话人身份建模为具有狄利克雷先验的隐变量，并推断SPLDA参数的后验分布，该方法在低资源或域不匹配设置下提升了说话人识别性能，且无需标注的自适应数据。

ABSTRACT

State-of-the-art speaker recognition relays on models that need a large amount of training data. This models are successful in tasks like NIST SRE because there is sufficient data available. However, in real applications, we usually do not have so much data and, in many cases, the speaker labels are unknown. We present a method to adapt a PLDA model from a domain with a large amount of labeled data to another with unlabeled data. We describe a generative model that produces both sets of data where the unknown labels are modeled like latent variables. We used variational Bayes to estimate the hidden variables. Here, we derive the equations for this model. This model has been used in the papers: "UNSUPERVISED ADAPTATION OF PLDA BY USING VARIATIONAL BAYES METHODS" publised at ICASSP 2014, "Unsupervised Training of PLDA with Variational Bayes" published at Iberspeech 2014, and "VARIATIONAL BAYESIAN PLDA FOR SPEAKER DIARIZATION IN THE MGB CHALLENGE" published at ASRU 2015.

研究动机与目标

• 解决仅在无标签数据可用时，将SPLDA模型适应到新域的挑战。
• 在缺乏标注自适应数据的低资源或域不匹配设置下，提升说话人识别性能。
• 开发一种贝叶斯框架，从无标签数据中联合估计说话人身份和SPLDA参数。
• 通过共轭先验建模i向量均值、特征语音和类内精度的不确定性，实现鲁棒的SPLDA自适应。
• 通过特征语音后验精度估计，提供一种合理推断最优说话人因子数的方法。

提出的方法

• 将SPLDA公式化为贝叶斯层次模型，对说话人因子、i向量均值和类内精度使用共轭先验。
• 将无监督集中的说话人身份建模为具有对称狄利克雷先验的隐类别变量。
• 使用变分贝叶斯方法，通过最大化边缘似然的下界，近似隐变量（说话人身份、参数）的后验分布。
• 通过期望传播和牛顿-拉夫森优化，推导出超参数（如 $a_\alpha$、$b_\alpha$）的闭式更新。
• 通过正态逆威沙特和伽马超先验，引入 $\mathbf{\mu}$ 和 $\mathbf{V}$ 的先验信息，以正则化参数估计。
• 利用从无标签i向量计算出的充分统计量（如 $\mathbf{F}_i$、$\overline{\mathbf{S}}_i$），高效计算后验期望。

实验结果

研究问题

• RQ1 贝叶斯框架能否从无标签数据中联合推断说话人身份和SPLDA参数，从而改善自适应性能？
• RQ2 当仅使用无标签数据进行自适应时，所提方法在说话人识别准确率方面表现如何？
• RQ3 通过 $\mathbf{V}$ 和 $\mathbf{W}$ 的后验方差估计的模型不确定性，是否能反映数据质量和标签可靠性？
• RQ4 后验精度 $\mathrm{E}[\alpha_q]$ 是否可用于推断最优说话人因子数 $n_y$？
• RQ5 超参数更新（如 $a_\alpha$、$b_\alpha$）如何影响低数据场景下参数估计的鲁棒性？

主要发现

• 该方法在无需任何标注自适应数据的情况下，实现了对无标签数据的SPLDA自适应性能提升。
• $\mathbf{V}$ 和 $\mathbf{W}$ 的后验方差随说话人数和语音段数增加而减小，表明参数置信度提高。
• 该模型能检测标签不确定性：若说话人标签错误，$\mathbf{V}$ 的后验方差相比正确标签会增大。
• 每个特征语音分量 $\mathbf{v}_q$ 的后验精度 $\mathrm{E}[\alpha_q]$ 提供了一种合理推断最优说话人因子数 $n_y$ 的方法。
• 通过变分贝叶斯进行超参数优化，实现了稳定且鲁棒的参数估计，尤其在低数据自适应场景下优势显著。
• 共轭先验与闭式更新的结合，实现了高效推理，使该方法可扩展至大规模无标签i向量集。