[论文解读] Speaker De-identification System using Autoencoders and Adversarial Training

Fernando Espinoza-Cuadros, Juan M. Perero-Codosero+2 more|arXiv (Cornell University)|Nov 9, 2020

Speech Recognition and Synthesis被引用 7

一句话总结

本文提出了一种基于对抗训练与自编码器的说话人去标识化系统，旨在抑制语音中的说话人、性别和口音信息，同时保持语音的可懂性。该方法在测试集上使说话人验证的等错误率（EER）显著提高，最高达48.39%，证明了其在不损害语音自然性的前提下实现了有效的隐私保护。

ABSTRACT

The fast increase of web services and mobile apps, which collect personal data from users, increases the risk that their privacy may be severely compromised. In particular, the increasing variety of spoken language interfaces and voice assistants empowered by the vertiginous breakthroughs in Deep Learning are prompting important concerns in the European Union to preserve speech data privacy. For instance, an attacker can record speech from users and impersonate them to get access to systems requiring voice identification. Hacking speaker profiles from users is also possible by means of existing technology to extract speaker, linguistic (e.g., dialect) and paralinguistic features (e.g., age) from the speech signal. In order to mitigate these weaknesses, in this paper, we propose a speaker de-identification system based on adversarial training and autoencoders in order to suppress speaker, gender, and accent information from speech. Experimental results show that combining adversarial learning and autoencoders increase the equal error rate of a speaker verification system while preserving the intelligibility of the anonymized spoken content.

研究动机与目标

• 为应对语音应用与语音助手中语音数据采集日益增长的隐私担忧。
• 抑制语音信号中的说话人特异性特征（如性别、口音与身份），以防止冒充与画像分析。
• 开发一种灵活的非密码学匿名化方法，同时保持语音的可懂性与自然性。
• 通过结合自编码器与对抗训练，改进现有说话人去标识化技术，实现鲁棒的说话人无关表征学习。
• 在 VoicePrivacy 2020 等标准化基准上评估系统，以确保可复现性与公平性。

提出的方法

• 系统基于 VoicePrivacy 2020 挑战赛中的基线 x-vector 匿名化流程构建，重点聚焦于 x-vector 匿名化阶段。
• 使用自编码器重建输入的 x-vector，学习一种压缩的、说话人无关的表征。
• 训练一个对抗判别器，以根据说话人身份、性别和口音对匿名化后的 x-vector 进行分类。
• 通过对抗训练联合优化编码器，以最小化判别器识别说话人特征的能力。
• 损失函数结合了重建损失（L2）与对抗损失，以平衡语音保真度与去标识化性能。
• 最终的匿名化 x-vector 用于合成保留语言内容但去除说话人特异性线索的语音。

实验结果

研究问题

• RQ1 结合对抗训练与自编码器是否能有效抑制 x-vector 中的说话人身份、性别与口音？
• RQ2 该方法在去标识化后，对语音可懂性与自动语音识别（ASR）性能的保持程度如何？
• RQ3 该系统在不同测试集（如 LibriTTS、VCTK）上的表现如何，尤其在不同说话人与录音条件下？
• RQ4 自编码器与对抗训练的结合是否在减少隐私泄露方面优于基线匿名化方法？
• RQ5 去标识化性能与语音质量保持之间存在何种权衡？

主要发现

• 在 vctk_test_dif 测试集上，AAN-2 模型在原始语音注册、匿名语音测试的条件下实现了 48.39% 的 EER，表明说话人身份被有效抑制。
• 在 libri_test 测试集上，AAN-1 模型在原始语音到匿名语音的测试中实现了 47.26% 的 EER，相比基线有显著提升。
• 系统保持了较低的 C_llr 值（如 AAN-1 在 libri_test 上为 0.995），表明匿名化语音仍适用于下游 ASR 任务。
• 对抗训练组件显著降低了判别器识别说话人特征的准确率，所有测试集上均表现出较高的 EER。
• 该方法保持了语音的自然性与可懂性，经由低 C_llr 值与 ASR 性能的微小退化所证实。
• 自编码器与对抗训练的结合在所有测试条件下均一致提升了 EER，证实了该去标识化方法的有效性。