[论文解读] Text-Independent Speaker Verification Using Long Short-Term Memory Networks

Aryan Mobiny, Najarian, Mohammad|arXiv (Cornell University)|May 2, 2018

Speech Recognition and Synthesis参考文献 18被引用 7

一句话总结

本文提出了一种基于LSTM的端到端架构，用于文本无关说话人验证，直接从MFCC特征建模时间域说话人特征。通过端到端联合学习背景模型与说话人模型，该方法在测试集上实现了22.9%的EER，优于GMM-UBM（27.1%）和i-vector + PLDA（23.5%）基线模型，尤其在短语音样本上表现优异。

ABSTRACT

In this paper, an architecture based on Long Short-Term Memory Networks has been proposed for the text-independent scenario which is aimed to capture the temporal speaker-related information by operating over traditional speech features. For speaker verification, at first, a background model must be created for speaker representation. Then, in enrollment stage, the speaker models will be created based on the enrollment utterances. For this work, the model will be trained in an end-to-end fashion to combine the first two stages. The main goal of end-to-end training is the model being optimized to be consistent with the speaker verification protocol. The end- to-end training jointly learns the background and speaker models by creating the representation space. The LSTM architecture is trained to create a discrimination space for validating the match and non-match pairs for speaker verification. The proposed architecture demonstrate its superiority in the text-independent compared to other traditional methods.

研究动机与目标

• 开发一种端到端深度学习模型，以捕捉文本无关说话人验证中的时间域说话人特异性模式。
• 通过联合优化背景模型与说话人模型学习，提升验证协议下的说话人验证性能。
• 证明LSTM相较于传统方法（如GMM-UBM和i-vector）在处理短语音时的优越性。
• 探究LSTM在建模长期说话人变化方面相较于传统方法的局限性。

提出的方法

• 该模型使用LSTM网络处理从1秒语音片段（重叠60%）中提取的原始语音特征（MFCC）。
• 端到端训练通过学习共享表示空间，联合优化背景模型与说话人模型。
• 采用类似Siamese的损失函数，结合对比损失与基于边距的排序损失：$ C_W = Y \times C_{gen} + (1-Y) \times C_{imp} + \lambda \|W\|_2 $。
• 其中 $ C_{gen} $ 和 $ C_{imp} $ 分别定义为 $ \frac{1}{2} D_W^2 $ 和 $ \frac{1}{2} \max\{0, (M - D_W)\}^2 $，$ M $ 为边距。
• 训练过程中使用批量归一化和数据增强，以稳定学习并提升泛化能力。
• 在评估阶段，模型计算嵌入距离，并采用基于真实配对最大与最小距离的动态阈值策略。

实验结果

研究问题

• RQ1 端到端LSTM架构能否有效学习文本无关说话人验证中的说话人特异性时间模式？
• RQ2 在不同语音长度下，所提模型与传统方法（如GMM-UBM和i-vector）在EER上的表现如何比较？
• RQ3 与传统模型相比，基于LSTM的模型在短语音上的性能是否仍保持优越？
• RQ4 为何传统模型在长语音上仍优于LSTM模型？LSTM在捕捉长期说话人可变性方面存在哪些局限性？

主要发现

• 所提LSTM模型实现了22.9%的等错误率（EER），优于GMM-UBM（27.1%）和i-vector + PLDA（23.5%）基线模型。
• 该模型在短语音（1秒）上显著优于传统方法，展现出在低资源场景下的强大性能。
• 对于较长语音，基于i-vector的传统模型仍优于LSTM模型，表明其在捕捉长期说话人依赖关系方面存在局限。
• 模型性能对语音时长敏感，在短语音场景下优势明显。
• 采用对比损失函数的端到端训练方式，实现了背景建模与说话人建模的有效联合优化。
• 动态样本选择算法通过聚焦于困难负样本，提升了训练效率并增强了模型判别能力。