[论文解读] Speaker Anonymization Using X-vector and Neural Waveform Models

Fuming Fang, Xin Wang+5 more|arXiv (Cornell University)|May 30, 2019

Speech Recognition and Synthesis参考文献 21被引用 8

一句话总结

本文提出一种说话人匿名化方法，通过x向量和神经波形模型分离语言内容与说话人身份。通过组合多个随机说话人的x向量生成伪说话人身份，并使用音素后验图（PPGs）表示语言内容，该方法有效隐藏了说话人身份（EER最高提升10.8倍），同时保持了较高的语音质量，ASR识别准确率仅出现轻微下降。

ABSTRACT

The social media revolution has produced a plethora of web services to which users can easily upload and share multimedia documents. Despite the popularity and convenience of such services, the sharing of such inherently personal data, including speech data, raises obvious security and privacy concerns. In particular, a user's speech data may be acquired and used with speech synthesis systems to produce high-quality speech utterances which reflect the same user's speaker identity. These utterances may then be used to attack speaker verification systems. One solution to mitigate these concerns involves the concealing of speaker identities before the sharing of speech data. For this purpose, we present a new approach to speaker anonymization. The idea is to extract linguistic and speaker identity features from an utterance and then to use these with neural acoustic and waveform models to synthesize anonymized speech. The original speaker identity, in the form of timbre, is suppressed and replaced with that of an anonymous pseudo identity. The approach exploits state-of-the-art x-vector speaker representations. These are used to derive anonymized pseudo speaker identities through the combination of multiple, random speaker x-vectors. Experimental results show that the proposed approach is effective in concealing speaker identities. It increases the equal error rate of a speaker verification system while maintaining high quality, anonymized speech.

研究动机与目标

• 为应对语音数据共享带来的隐私风险，特别是语音欺骗和说话人验证攻击的潜在威胁。
• 开发一种在不降低语音质量或语言内容的前提下隐藏说话人身份的方法。
• 利用深度学习组件构建一种灵活的、与说话人无关的匿名化框架。
• 通过客观指标（EER、WER）和主观MOS评分评估匿名化效果。
• 识别当前语言与说话人特征解耦中的局限性，并提出未来改进方向。

提出的方法

• 该方法使用预训练的x向量系统从输入语音中提取说话人身份特征。
• 语言内容通过来自与说话人无关的ASR系统的音素后验图（PPGs）提取表示。
• 通过平均多个随机未见说话人的x向量，生成匿名化的伪说话人身份。
• 神经声学和波形模型使用PPGs和平均后的x向量合成匿名化语音。
• 该方法依赖于解耦表示：PPGs用于内容，组合x向量用于匿名身份。
• 系统通过单一变换函数端到端训练，避免了针对每个说话人的模型微调。

实验结果

研究问题

• RQ1 能否通过从多个随机x向量学习得到的伪说话人身份，有效隐藏说话人身份？
• RQ2 匿名化语音在ASR系统上的WER测量下，其语言保真度如何？
• RQ3 在MOS评分和感知相似性方面，匿名化语音与原始语音相比质量如何？
• RQ4 匿名化对说话人验证系统的影响如何，以EER提升程度衡量？
• RQ5 选择PPG层（第6层Sigmoid与Softmax）对身份隐藏与语音质量之间的平衡有何影响？

主要发现

• 所提方法使说话人验证系统的等错误率（EER）最高提升10.8倍，表明匿名化性能出色。
• 语音质量通过平均意见分（MOS）衡量，保持较高水平，匿名化语音得分为2.31至3.25，而自然语音得分为4.05。
• ASR系统的WER从自然语音的9.49%上升至10%至30%（第6层Sigmoid PPG），以及25%至45%（Softmax层），表明语言内容出现中等程度退化。
• x向量平均距离越大（即身份差异越大），身份隐藏效果越好，75%的评估者认为匿名化语音与原始说话人不同。
• 从第6层Sigmoid层提取PPG可获得更优的语音质量与更低的WER，表明其特征学习能力更强。
• 该方法在很大程度上成功实现了说话人身份与语言内容的解耦，但解耦不完全导致当差异度超过0.4时WER升高。