[论文解读] The VoicePrivacy 2020 Challenge Evaluation Plan

Natalia Tomashenko, Brij Mohan Lal Srivastava+9 more|arXiv (Cornell University)|May 14, 2022

Speech Recognition and Synthesis参考文献 19被引用 26

一句话总结

本论文定义 VoicePrivacy 2020 去识别任务、数据、攻击模型、评估指标（客观和主观），以及两种去识别基线，用于基准隐私保护语音技术。

ABSTRACT

The VoicePrivacy Challenge aims to promote the development of privacy preservation tools for speech technology by gathering a new community to define the tasks of interest and the evaluation methodology, and benchmarking solutions through a series of challenges. In this document, we formulate the voice anonymization task selected for the VoicePrivacy 2020 Challenge and describe the datasets used for system development and evaluation. We also present the attack models and the associated objective and subjective evaluation metrics. We introduce two anonymization baselines and report objective evaluation results.

研究动机与目标

• 在 GDPR 类关注下推动语音数据的隐私保护。
• 定义一个具体的去识别任务，使说话人隐藏身份，同时保持可懂度和自然度。
• 提供一个通用数据集、协议和指标，以便对去识别解决方案进行公平比较。
• 研究用于评估去识别语音的隐私性和实用性的客观与主观指标。

提出的方法

• 构建一个隐私保护博弈，攻击者试图从去识别的说话中识别说话人。
• 指定去识别任务，产生听起来像不同伪说话人的试验语音，同时保持语言内容。
• 提出具有不同 enrollment 数据和去识别假设的攻击模型，以计算隐私指标。
• 描述数据源及子集（训练、开发、评估）来自 LibriSpeech、LibriTTS、VCTK、VoxCeleb。
• 为评估定义客观指标（ASV 可验证性、ASR 性能）和主观指标（可验证性、可关联性、清晰度、自然度）。
• 概述两种去识别基线（基于 x-vector 的神经波形模型；McAdams 系数方法）及其训练数据。

实验结果

研究问题

• RQ1 去识别系统在保持语言内容的同时，抑制说话人识别信息的能力有多高？
• RQ2 用于评估去识别语音的隐私性和实用性的合适客观与主观指标有哪些？
• RQ3 通用数据集和协议是否能实现对不同去识别方法的公平比较？
• RQ4 在标准语音数据集上，具有代表性的去识别方法能达到怎样的基线性能？
• RQ5 enrollment 与 trial 数据配置如何影响隐私攻击的有效性？

主要发现

• 该计划引入了一个具体的去识别任务和针对 VoicePrivacy 2020 的全面评估协议。
• 确立了两种基线：(i) 基于 x-vector 的神经波形模型，和 (ii) 基于 McAdams 系数的去识别。
• 为评估定义了一套客观指标（ASV 可验证性和 ASR WER）和主观指标（可验证性、可关联性、清晰度、自然度）。
• 评估框架使用公开可用的语料库（LibriSpeech、LibriTTS、VCTK、VoxCeleb），并清晰指定了训练、开发和评估子集。
• ASR 和 ASV 评估系统在 LibriSpeech 数据上训练，以评估去识别对识别和说话人验证的影响。
• 该协议和脚本旨在支持参与团队之间的可重复评估。