[论文解读] Speaker Anonymization with Distribution-Preserving X-Vector Generation for the VoicePrivacy Challenge 2020

Henry Turner, Giulio Lovisotto+1 more|arXiv (Cornell University)|Oct 26, 2020

Speech Recognition and Synthesis参考文献 14被引用 15

一句话总结

本文提出了一种保持分布特性的 X-vector 生成方法，用于语音匿名化，通过从人群数据中学习 X-vector 空间的统计特性，并利用生成模型采样出真实且差异显著的伪造 X-vector，从而提升说话人多样性。该方法在端到端评估中将匿名化语音之间的相似性降低，使男性语音的 EER 最高提升 19.4%，女性语音提升 11.1%，优于基线方法，且在匿名化过程中无需使用说话人池。

ABSTRACT

In this paper, we present a Distribution-Preserving Voice Anonymization technique, as our submission to the VoicePrivacy Challenge 2020. We observe that the challenge baseline system generates fake X-vectors which are very similar to each other, significantly more so than those extracted from organic speakers. This difference arises from averaging many X-vectors from a pool of speakers in the anonymization process, causing a loss of information. We propose a new method to generate fake X-vectors which overcomes these limitations by preserving the distributional properties of X-vectors and their intra-similarity. We use population data to learn the properties of the X-vector space, before fitting a generative model which we use to sample fake X-vectors. We show how this approach generates X-vectors that more closely follow the expected intra-similarity distribution of organic speaker X-vectors. Our method can be easily integrated with others as the anonymization component of the system and removes the need to distribute a pool of speakers to use during the anonymization. Our approach leads to an increase in EER of up to $19.4\%$ in males and $11.1\%$ in females in scenarios where enrollment and trial utterances are anonymized versus the baseline solution, demonstrating the diversity of our generated voices.

研究动机与目标

• 为解决 VoicePrivacy Challenge 2020 基线方法在生成匿名语音时缺乏多样性的问题，该方法因在说话人池上取平均而产生高度相似的伪造 X-vector。
• 开发一种可泛化的匿名化方法，无需在匿名化过程中依赖共享说话人池，即可保持真实 X-vector 的自然内部相似性分布。
• 通过确保匿名化语音彼此可区分且无法与原始说话人关联，增强语音隐私保护。
• 在 VoicePrivacy Challenge 2020 的威胁模型下评估该方法，重点关注多个数据集和匿名化场景下的 EER 和 C_llr_min 指标。
• 研究强制差异性作为防范机制，防止生成与原始说话人过于相似的匿名语音。

提出的方法

• 该方法从真实说话人嵌入的群体中学习 X-vector 空间的分布特性，捕捉说话人之间的相似性与内部相似性统计特征。
• 在 X-vector 空间的降维表示上训练生成模型，以采样出反映真实说话人嵌入自然分布的新颖、真实的伪造 X-vector。
• 生成模型使匿名化 X-vector 的采样无需访问原始说话人嵌入池，从而降低隐私泄露风险。
• 通过设置原始 X-vector 与匿名化 X-vector 之间的最小相似性阈值（0.8）实施强制差异性（FD），防止对原始语音的过度近似。
• 使用匿名化 X-vector 通过声码器合成语音波形，保留语言和语调内容的同时隐藏说话人身份。
• 采用标准指标（EER 和最小 C_llr）对方法进行评估，并与基线系统在 LibriSpeech 和 VCTK 数据集上的表现进行对比。

实验结果

研究问题

• RQ1 基线匿名化方法是否会产生不自然相似的伪造 X-vector，导致匿名化语音多样性降低？
• RQ2 在群体 X-vector 统计数据上训练的生成模型，是否能更好地保留真实说话人之间的自然内部相似性分布？
• RQ3 当注册语音和测试语音均被匿名化时，所提方法是否能通过 EER 和 C_llr_min 指标提升匿名化性能？
• RQ4 强制差异性在多大程度上降低了生成与原始说话人过于相似的匿名语音的风险？
• RQ5 为何男性与女性在匿名化性能提升上的差距更大？这是否由模型偏差或数据不平衡导致？

主要发现

• 基线方法生成的伪造 X-vector 相似性显著高于真实 X-vector，表明因在说话人池上取平均导致多样性损失。
• 当注册语音和测试语音均被匿名化时，所提方法使男性语音的 EER 最高提升 19.4%，女性语音提升 11.1%，证明了说话人不可链接性的提升。
• 在原始注册语音与匿名化测试语音的场景下，女性语音的 EER 达到 44.2–47.3%，男性语音达到 45.1–48.9%，接近完美匿名化的 50% 阈值。
• 强制差异性变体在仅测试语音匿名化的场景中表现略优，但在联合匿名化场景中结果不一致，表明其有助于防止对原始语音的过拟合。
• 词错误率（WER）相比基线略有下降，VCTK 数据集上最大增加 1.81%，表明对语音质量影响极小。
• 该方法在性能上与基线相当或更优，同时消除了对共享说话人池的需求，降低了匿名化过程中的隐私风险。