[论文解读] Understanding the Tradeoffs in Client-side Privacy for Downstream Speech Tasks

Peter Wu, Paul Pu Liang+4 more|arXiv (Cornell University)|Jan 22, 2021

Privacy-Preserving Technologies in Data参考文献 67被引用 4

一句话总结

本文研究了语音数据的客户端隐私保护技术，提出通过信号处理、解耦表征学习和对抗性训练来隐藏性别和口音，同时保持自动语音识别（ASR）的可用性。研究发现，尽管采用改进损失函数的对抗性方法在隐藏口音方面表现最佳，但尚无任何方法能完全平衡隐私保护、性能与效率——凸显了未来在客户端语音隐私领域开展研究的迫切需求。

ABSTRACT

As users increasingly rely on cloud-based computing services, it is important to ensure that uploaded speech data remains private. Existing solutions rely either on server-side methods or focus on hiding speaker identity. While these approaches reduce certain security concerns, they do not give users client-side control over whether their biometric information is sent to the server. In this paper, we formally define client-side privacy and discuss its three unique technical challenges: (1) direct manipulation of raw data on client devices, (2) adaptability with a broad range of server-side processing models, and (3) low time and space complexity for compatibility with limited-bandwidth devices. Solving these challenges requires new models that achieve high-fidelity reconstruction, privacy preservation of sensitive personal attributes, and efficiency during training and inference. As a step towards client-side privacy for speech recognition, we investigate three techniques spanning signal processing, disentangled representation learning, and adversarial training. Through a series of gender and accent masking tasks, we observe that each method has its unique strengths, but none manage to effectively balance the trade-offs between performance, privacy, and complexity. These insights call for more research in client-side privacy to ensure a safer deployment of cloud-based speech processing services.

研究动机与目标

• 将客户端隐私正式确立为一种独立范式，使用户能够在数据上传至云端前自主控制数据匿名化过程。
• 识别并解决三大核心挑战：设备端数据处理、与多样化服务器模型的兼容性，以及在移动设备上实现低计算开销。
• 通过实证评估三种客户端隐私技术——信号处理、解耦表征学习与对抗性训练——在性别与口音隐藏方面的表现。
• 量化不同方法在隐私保护、下游ASR性能与计算复杂度（时间与内存）之间的权衡关系。
• 揭示现有方法的不足，并呼吁未来研究致力于构建可扩展、高效且安全的客户端语音处理框架。

提出的方法

• 采用基频标准化作为信号处理方法，通过改变基频来实现性别匿名化，同时保持内容不变。
• 使用变分自编码器（VAEs）和生成对抗网络（GANs）学习解耦表征，将内容与性别、口音等敏感属性分离。
• 设计改进的对抗性损失函数，联合最小化内容重建误差并最大化私有属性分类器（如性别、口音、说话人）的混淆度。
• 在LibriSpeech和LibriTTS数据集上训练模型，对原始音频应用隐私保护技术后发送至下游ASR模型。
• 通过属性分类准确率（如性别、口音、说话人）评估隐私保护效果，通过ASR任务中的字符错误率（CER）和词错误率（WER）评估性能。
• 测量包括推理时间与内存占用在内的计算成本，以评估在资源受限设备上的可行性。

实验结果

研究问题

• RQ1 信号处理、解耦表征学习与对抗性训练在客户端语音处理中隐藏性别与口音方面的有效性如何？
• RQ2 这些方法在隐私保护、下游ASR性能与计算效率（时间与内存）之间存在何种权衡？
• RQ3 与其它方法相比，采用改进损失函数的对抗性训练是否能更有效地隐藏敏感属性，同时保持ASR可用性？
• RQ4 为何如基频标准化等信号处理方法尽管计算效率高，却仍无法有效保护隐私？
• RQ5 解耦表征与基于GAN的模型在不降低ASR性能的前提下，能在多大程度上提升隐私保护效果？

主要发现

• 基频标准化虽计算效率高，但隐私保护效果不佳，性别分类准确率达36%，甚至低于神经网络方法，原因在于注意图中存在可识别的伪影。
• 采用改进口音损失的对抗性方法在口音分类器上达到最低准确率23%，表明其在口音隐藏方面具有较强的隐私保护能力。
• 解耦方法在ASR性能上优于对抗性方法，在口音掩蔽数据上分别实现17.5%的CER与29.9%的WER，而对抗性方法则分别为23.1%与37.4%。
• 神经网络模型（VAEs与GANs）的内存占用显著高于信号处理方法，凸显了隐私与效率之间的重要权衡。
• 采用说话人特定损失的对抗性训练使性别分类准确率达到25%，优于解耦方法（29%）与信号处理方法（36%），表明其在性别隐私保护方面表现更优。
• 本研究揭示，尚无单一方法能在所有指标上实现最优平衡，各方法在某一领域表现优异，但在其他方面表现欠佳——表明亟需开发混合或新型客户端隐私处理框架。