[论文解读] Private Speech Classification with Secure Multiparty Computation

Kyle Bittner, Martine De Cock+1 more|arXiv (Cornell University)|Jul 1, 2020

Speech and Audio Processing参考文献 46被引用 4

一句话总结

本文提出首个基于安全多方计算（MPC）的语音分类隐私保护深度学习方法，使爱丽丝能够在不泄露数据或模型参数的情况下，使用鲍勃加密的模型对自身语音信号进行分类。在半诚实威胁模型下，3.5秒的音频片段可在0.3秒内完成分类且准确率完全匹配，证明了其在语音助手等实时应用中的实际可行性。

ABSTRACT

Deep learning in audio signal processing, such as human voice audio signal classification, is a rich application area of machine learning. Legitimate use cases include voice authentication, gunfire detection, and emotion recognition. While there are clear advantages to automated human speech classification, application developers can gain knowledge beyond the professed scope from unprotected audio signal processing. In this paper we propose the first privacy-preserving solution for deep learning-based audio classification that is provably secure. Our approach, which is based on Secure Multiparty Computation, allows to classify a speech signal of one party (Alice) with a deep neural network of another party (Bob) without Bob ever seeing Alice's speech signal in an unencrypted manner. As threat models, we consider both passive security, i.e. with semi-honest parties who follow the instructions of the cryptographic protocols, as well as active security, i.e. with malicious parties who deviate from the protocols. We evaluate the efficiency-security-accuracy trade-off of the proposed solution in a use case for privacy-preserving emotion detection from speech with a convolutional neural network. In the semi-honest case we can classify a speech signal in under 0.3 sec; in the malicious case it takes $\sim$1.6 sec. In both cases there is no leakage of information, and we achieve classification accuracies that are the same as when computations are done on unencrypted data.

研究动机与目标

• 解决基于深度学习的语音分类中因处理不安全而导致的隐私泄露问题，防止情绪、性别或健康状况等敏感个人数据被暴露。
• 在不暴露原始音频或模型权重的前提下，实现使用第三方深度神经网络对语音信号进行安全、私密的推理。
• 评估在被动和主动威胁模型下，基于MPC的语音分类在效率、安全性和准确率之间的权衡。
• 证明MPC能够支持实时、高准确率的语音分类，适用于数字助手等生产系统。

提出的方法

• 该协议利用安全多方计算（MPC）使爱丽丝与鲍勃能够联合计算一维卷积神经网络（CNN）在爱丽丝加密语音信号上的输出。
• 所有计算均基于秘密共享值在MP-SPDZ框架中执行，确保推理过程中任一参与方均无法获知原始输入或模型权重。
• 系统支持两方计算（2PC）与三方计算（3PC）两种设置，其中3PC在性能和更强的安全保障方面表现更优。
• 通过架构选择与量化技术，对CNN架构进行专门优化，以降低MPC计算开销。
• 在主动安全模式下，协议包含检测与防止任一参与方恶意偏离行为的检查机制，确保在对抗性行为下仍能保持正确性。
• 协议仅公开最终的类别标签（如情绪类别），且仅在双方达成一致后共享，从而实现端到端的隐私保护。

实验结果

研究问题

• RQ1 MPC能否在不暴露音频或模型参数的前提下，实现使用第三方深度学习模型对语音信号进行私密推理？
• RQ2 与未加密推理相比，基于MPC的语音分类在运行时间和准确率方面的性能开销如何？
• RQ3 系统在被动（半诚实）与主动（恶意）安全模型下的表现如何？
• RQ4 考虑到MPC的计算成本，该系统能否实现对语音助手等实际应用的实时推理？

主要发现

• 在半诚实威胁模型下，3.5秒的语音信号可在0.26秒内完成分类，准确率与未加密推理完全一致。
• 在低准确率配置下，分类耗时仅0.15秒，表明在MPC优化设置下具有极高效率。
• 在恶意威胁模型下，分类耗时约1.6秒，未发生信息泄露，且准确率完全保留。
• 系统保持与未加密推理相同的分类准确率，证明隐私保护不会损害性能。
• 采用三名半诚实服务器的3PC设置相比2PC显著降低运行时间，尤其在主动安全模式下，得益于更高效的密码学操作。
• 结果表明，经效率优化后，基于MPC的私有语音分类在实时应用（如数字助手）中具备可行性。