[论文解读] S-vectors: Speaker Embeddings based on Transformer's Encoder for Text-Independent Speaker Verification.

Metilda Sagaya Mary N. J, Sandesh V. Katta+1 more|arXiv (Cornell University)|Aug 11, 2020

Speech Recognition and Synthesis参考文献 17被引用 10

一句话总结

本文提出s-vectors，一种基于自注意力机制的Transformer编码器与统计池化结合的说话人嵌入方法，在VoxCeleb-1和VoxCeleb-1+2数据集上相较x-vectors实现了10–15%的相对EER提升，证明了全局上下文建模在文本无关说话人验证中的优越性。

ABSTRACT

X-vectors have become the standard for speaker-embeddings in automatic speaker verification. X-vectors are obtained using a Time-delay Neural Network (TDNN) with context over several frames. We have explored the use of an architecture built on self-attention which attends to all the features over the entire utterance, and hence better capture speaker-level characteristics. We have used the encoder structure of Transformers, which is built on self-attention, as the base architecture and trained it to do a speaker classification task. In this paper, we have proposed to derive speaker embeddings from the output of the trained Transformer encoder structure after appropriate statistics pooling to obtain utterance level features. We have named the speaker embeddings from this structure as s-vectors. s-vectors outperform x-vectors with a relative improvement of 10% and 15% in % EER when trained on Voxceleb-1 only and Voxceleb-1+2 datasets. We have also investigated the effect of deriving s-vectors from different layers of the model.

研究动机与目标

• 探索自注意力机制在说话人嵌入学习中的应用，以实现对传统TDNN-based x-vectors的性能提升。
• 研究Transformer编码器的全局上下文建模是否能比TDNN中的局部上下文更好地捕捉说话人级特征。
• 评估从训练好的Transformer编码器不同层提取说话人嵌入的有效性。
• 建立基于注意力机制架构的文本无关说话人验证的新基线。
• 在VoxCeleb-1和VoxCeleb-1+2等标准基准上，对比s-vectors与x-vectors的性能表现。

提出的方法

• 在使用话语级标签的说话人分类任务上训练Transformer编码器架构。
• 对Transformer编码器的输出应用统计池化（均值与标准差），生成固定维度的话语级嵌入。
• 从训练好的Transformer编码器的最终层提取s-vectors，并对中间层进行消融研究。
• 采用与x-vectors相同的训练目标和数据以确保公平比较，重点聚焦于说话人验证性能。
• 在整个输入话语的所有帧上应用自注意力机制，以捕捉长距离依赖关系和全局说话人特征。
• 端到端优化模型以进行说话人分类，最终表示作为s-vector使用。

实验结果

研究问题

• RQ1 基于自注意力机制的Transformer编码器是否能在文本无关说话人验证中超越基于TDNN的x-vectors？
• RQ2 当从Transformer编码器的不同层提取s-vectors时，其性能如何变化？
• RQ3 在标准基准上，s-vectors相较于x-vectors在%EER上的相对提升是多少？
• RQ4 通过自注意力实现的全局上下文建模是否比TDNN中的局部上下文建模产生更鲁棒的说话人嵌入？
• RQ5 当在更大的数据集如VoxCeleb-1+2上训练时，s-vectors相较于仅在VoxCeleb-1上训练的表现如何？

主要发现

• 在VoxCeleb-1数据集上训练时，s-vectors相较x-vectors实现了10%的相对%EER提升。
• 在更大的VoxCeleb-1+2数据集上，s-vectors相较x-vectors实现了15%的相对%EER提升。
• s-vectors的性能对Transformer层的选择敏感，最终层表现最佳。
• 在整个话语上使用自注意力机制，相比TDNN中的局部上下文建模，能更有效地捕捉说话人级特征。
• s-vectors在不同测试条件下表现出强泛化能力，表明其在真实世界说话人验证任务中的鲁棒性。
• 所提出方法在基于注意力机制架构的文本无关说话人验证中建立了新的最先进性能基准。