[论文解读] VoxSRC 2022: The Fourth VoxCeleb Speaker Recognition Challenge

Jaesung Huh, Andrew J. Brown+5 more|arXiv (Cornell University)|Feb 20, 2023

Speech Recognition and Synthesis被引用 14

一句话总结

对 VoxSRC-22 的全面总结，概述了四个赛道（说话人验证封闭/开放、半监督域自适应、分段/ diarisation），数据集、评估协议、顶尖方法，以及包括自监督模型和域自适应策略带来显著提升的结果。

ABSTRACT

This paper summarises the findings from the VoxCeleb Speaker Recognition Challenge 2022 (VoxSRC-22), which was held in conjunction with INTERSPEECH 2022. The goal of this challenge was to evaluate how well state-of-the-art speaker recognition systems can diarise and recognise speakers from speech obtained "in the wild". The challenge consisted of: (i) the provision of publicly available speaker recognition and diarisation data from YouTube videos together with ground truth annotation and standardised evaluation software; and (ii) a public challenge and hybrid workshop held at INTERSPEECH 2022. We describe the four tracks of our challenge along with the baselines, methods, and results. We conclude with a discussion on the new domain-transfer focus of VoxSRC-22, and on the progression of the challenge from the previous three editions.

研究动机与目标

• 研究前沿说话人识别系统在不受约束的真实世界条件下（“in the wild”）的表现。
• 提供开放数据、评估工具和公开挑战，以在验证与分段任务上基准进展。
• 在多样化、多语言、嘈杂环境下探索域自适应与分段。
• 引入新型试验类型（困难的正样本/负样本）以更好地压力测试模型并促进方法进展。

提出的方法

• 四个赛道各自目标不同：封闭/开放说话人验证、半监督域自适应（新增）和开放分段。
• 公共数据和标准化评估工具包，确保公平、可比较的基准。
• 基线系统基于 VoxCeleb 派生的架构（ResNet 变体，ECAPA-TDNN），进行数据增强（MUSAN, RIR）和分数后处理（AS-Norm, QMF）。
• 使用自监督预训练模型（WavLM, Wav2Vec2）用于 Track 2（验证），提升性能。
• 使用伪标签和自监督学习的半监督域自适应方法，将源语言/域（英语，VoxCeleb）迁移到目标语言/域（中文，CN-Celeb）。
• 分段系统利用嵌入提取器、多个 VAD 模型，与聚类融合（DOVER-LAP）。

实验结果

研究问题

• RQ1 在不受约束、真实世界条件下，最先进的说话人验证与分段系统的表现如何？
• RQ2 自监督预训练以及跨域/多语言数据对验证与分段性能的影响？
• RQ3 半监督域自适应能否在目标域有有限标记数据的情况下有效消除语言/域差距？
• RQ4 进入困难试验类型（基于年龄的正样本、同一文件的负样本）如何影响系统鲁棒性与评估？
• RQ5 哪些是实用、可复现的基线与评估流程，以实现公平的跨年份比较？

主要发现

• 自监督预训练模型（WavLM，Wav2Vec2）在 Track 2（验证）上带来显著相对提升。
• 结合 ResNet/ECAPA-TDNN、强数据增强与自监督预训练的顶尖验证团队，在 minDCF 与 EER 上显著优于基线。
• 在 Track 3，伪标签结合目标域数据与源域监督，相较仅使用带标签目标数据的基线，显著提升 EER/minDCF。
• Track 4 以基于嵌入的聚类与多 VAD 融合显示出强劲表现，测试集 DER 约为 4.75–4.87%，JER ~25–28%。
• 引入困难试验类型显著增加任务难度；即使是顶尖系统，在困难子集上的错误也增多，揭示鲁棒性差距。
• 总体而言，VoxSRC-22 在各赛道均实现显著的年度提升，域自适应和自监督推动了显著改进，同时也确认了无约束数据中分段的日益增长的挑战。