[论文解读] Self-Supervised Learning with Cluster-Aware-DINO for High-Performance Robust Speaker Verification

Bing Han, Zhengyang Chen+1 more|arXiv (Cornell University)|Apr 12, 2023

Speech Recognition and Synthesis被引用 4

一句话总结

本文提出 Cluster-Aware DINO (CA-DINO)，一种自监督说话人验证框架，利用 DINO 知识蒸馏目标消除对负样本对的依赖，并通过聚类感知训练和带标签修正的动态损失门控（DLG-LC）提升鲁棒性。该方法在 VoxCeleb 上实现了最先进性能，在某些设置下甚至超越了完全监督系统，且未使用任何人工标注的标签。

ABSTRACT

Automatic speaker verification task has made great achievements using deep learning approaches with the large-scale manually annotated dataset. However, it's very difficult and expensive to collect a large amount of well-labeled data for system building. In this paper, we propose a novel and advanced self-supervised learning framework which can construct a high performance speaker verification system without using any labeled data. To avoid the impact of false negative pairs, we adopt the self-distillation with no labels (DINO) framework as the initial model, which can be trained without exploiting negative pairs. Then, we introduce a cluster-aware training strategy for DINO to improve the diversity of data. In the iteration learning stage, due to a mass of unreliable labels from clustering, the quality of pseudo labels is important for the system training. This motivates us to propose dynamic loss-gate and label correction (DLG-LC) methods to alleviate the performance degradation caused by unreliable labels. More specifically, we model the loss distribution with GMM and obtain the loss-gate threshold dynamically to distinguish the reliable and unreliable labels. Besides, we adopt the model predictions to correct the unreliable label, for better utilizing the unreliable data rather than dropping them directly. Moreover, we extend the DLG-LC to multi-modality to further improve the performance. The experiments are performed on the commonly used Voxceleb dataset. Compared to the best-known self-supervised speaker verification system, our proposed method obtain 22.17%, 27.94% and 25.56% relative EER improvement on Vox-O, Vox-E and Vox-H test sets, even with fewer iterations, smaller models, and simpler clustering methods. More importantly, the newly proposed system even achieves comparable results with the fully supervised system, but without using any human labeled data.

研究动机与目标

• 通过实现完全自监督训练，解决大规模、高质量标注说话人验证数据集的高成本与稀缺性问题。
• 克服自监督说话人验证中对比学习的局限性，特别是因跨话语者不匹配导致的假负样本对问题。
• 通过提升伪标签质量（即使聚类不可靠）来增强迭代式自监督训练中的模型鲁棒性与性能。
• 通过先进的损失函数与标签处理方法，缩小自监督与完全监督说话人验证系统之间的性能差距。

提出的方法

• 采用 DINO 自知识蒸馏框架作为初始预训练阶段，消除对负样本对的需求，实现无需显式对比目标的训练。
• 通过从多个话语中同一说话人聚类内收集正样本，引入聚类感知训练，提升数据多样性与表征质量。
• 实施动态损失门控（DLG）机制，利用高斯混合模型（GMM）对损失分布建模，以识别并过滤不可靠的伪标签样本。
• 通过用模型预测的后验分布替换不可靠的伪标签实现标签修正（LC），以保留信息并避免数据丢失。
• 将 DLG-LC 框架扩展至多模态学习，通过在迭代训练中融合音频与视觉特征，进一步提升鲁棒性与准确性。
• 使用轻量级 ECAPA-TDNN-Small 模型（512 通道）仅进行 2–3 次训练迭代，尽管架构更简单且聚类更粗糙，仍实现了高性能。

实验结果

研究问题

• RQ1 自监督说话人验证系统是否能在不依赖任何人工标注标签或大规模监督数据的情况下实现最先进性能？
• RQ2 DINO 自知识蒸馏框架如何被适配以在无负样本对的情况下提升说话人表征学习？
• RQ3 通过利用多个话语中的说话人内部多样性，聚类感知训练在多大程度上能提升模型泛化能力？
• RQ4 动态损失门控与标签修正是否能显著缓解由噪声或不可靠伪标签在迭代自监督训练中引起的性能下降？
• RQ5 在 DLG-LC 框架中融合音频与视觉特征是否能进一步缩小自监督与完全监督说话人验证系统之间的性能差距？

主要发现

• 与已知最佳自监督系统相比，所提出的 CA-DINO + DLG-LC 框架在 Vox-O、Vox-E 和 Vox-H 测试集上分别实现了相对 EER 改进 22.17%、27.94% 和 25.56%。
• 即使仅进行 2–3 次训练迭代且使用更小的 ECAPA-S（Small）模型，该方法仍优于以往最先进系统（后者使用更大模型与更多迭代次数）。
• 尽管未使用任何真实标签，该系统在 VoxCeleb 上的性能与完全监督的 ECAPA-TDNN-Small 模型相当。
• 在 DLG-LC 框架中融合音频与视觉特征后，Vox-O 上的 EER 达到 1.191%，在采用自适应 s-norm 进行公平比较时，超越了完全监督基线的 1.010%。
• 基于损失直方图的 GMM 建模的动态损失门控机制，能有效识别并过滤不可靠的伪标签样本，提升训练稳定性和准确性。
• 通过模型后验估计实现的标签修正可防止因错误标签导致的性能下降，优于简单的数据剪枝策略。