[论文解读] Short utterance compensation in speaker verification via cosine-based teacher-student learning of speaker embeddings

Jee-weon Jung, Hee-Soo Heo+2 more|arXiv (Cornell University)|Oct 25, 2018

Speech Recognition and Synthesis参考文献 23被引用 4

一句话总结

本文提出了一种基于余弦的师生学习框架，通过在原始波形CNN-GRU网络中利用语音音素级特征（130 ms片段），补偿文本无关说话人验证中短时语音带来的性能退化。通过联合优化输出层的Kullback-Leibler散度与说话人嵌入的余弦距离，该方法在2.05秒语音上实现了超过65%的性能损失补偿，优于传统的后处理特征变换方法。

ABSTRACT

The short duration of an input utterance is one of the most critical threats that degrade the performance of speaker verification systems. This study aimed to develop an integrated text-independent speaker verification system that inputs utterances with short duration of 2 seconds or less. We propose an approach using a teacher-student learning framework for this goal, applied to short utterance compensation for the first time in our knowledge. The core concept of the proposed system is to conduct the compensation throughout the network that extracts the speaker embedding, mainly in phonetic-level, rather than compensating via a separate system after extracting the speaker embedding. In the proposed architecture, phonetic-level features where each feature represents a segment of 130 ms are extracted using convolutional layers. A layer of gated recurrent units extracts an utterance-level feature using phonetic-level features. The proposed approach also adopts a new objective function for teacher-student learning that considers both Kullback-Leibler divergence of output layers and cosine distance of speaker embeddings layers. Experiments were conducted using deep neural networks that take raw waveforms as input, and output speaker embeddings on VoxCeleb1 dataset. The proposed model could compensate approximately 65 \% of the performance degradation due to the shortened duration.

研究动机与目标

• 为解决短时语音（≤2秒）导致的说话人验证性能显著下降问题，此类语音缺乏足够的语音音素信息。
• 克服先前方法在特征提取后才进行语音段级特征补偿的局限性，这些方法无法恢复缺失的语音音素内容。
• 开发一种集成的、端到端的系统，直接在说话人嵌入提取网络内补偿短时语音。
• 通过联合优化输出层差异与说话人嵌入相似性，提升说话人嵌入的判别能力与鲁棒性。

提出的方法

• 使用原始波形CNN-GRU架构，结合Leaky ReLU与GRU层，直接从输入波形中提取说话人嵌入。
• 将音素级特征定义为最后一层卷积层的输出，代表130 ms的语音片段，以捕捉语音音素内容。
• 应用师生学习框架，其中教师网络处理长时语音，学生网络处理短时语音。
• 引入一种新型目标函数，结合输出层之间的Kullback-Leibler散度与说话人嵌入层之间的余弦距离。
• 将学生与教师说话人嵌入之间的余弦相似性作为关键正则化信号，以对齐紧凑且具有判别性的嵌入。
• 训练学生网络以最小化最终层输出的KL散度与说话人嵌入的余弦距离，从而提升鲁棒性与准确性。

实验结果

研究问题

• RQ1 从短时语音（130 ms片段）中提取的音素级特征，能否有效补偿说话人验证中的性能退化？
• RQ2 与传统师生学习方法相比，联合优化输出层差异与说话人嵌入相似性是否能提升短时语音的鲁棒性？
• RQ3 一种在嵌入提取网络内直接补偿的端到端集成系统，是否能优于后处理特征变换方法？
• RQ4 所提出方法对不同短时语音时长（如1.55秒至2.55秒）的变化具有多大程度的不变性？
• RQ5 通过余弦距离直接比较说话人嵌入，是否比仅依赖输出层损失能更有效地提升判别能力？

主要发现

• 所提方法在2.05秒语音上实现了10.08%的等错误率（EER），相较于基线（12.80% EER）补偿了超过65%的性能损失。
• 同时使用输出层KL散度与说话人嵌入余弦距离的联合目标函数取得了最佳性能，优于仅使用单一目标的方法。
• 当语音时长范围扩大至±0.5秒时，系统性能保持稳定，EER仅从10.08%略微上升至10.40%。
• 基于余弦的嵌入比较显著优于基于MSE或仅KL散度的基线方法，表明其在保持说话人身份结构方面的有效性。
• 该方法表明，通过音素级特征在模型内部进行补偿，比在特征提取后进行变换更有效，因为它在嵌入学习过程中保留了判别性信息。
• 消融实验确认，联合优化输出层与嵌入空间对齐是必不可少的，仅使用单一损失项会导致次优结果。