[论文解读] Privacy-preserving Similarity Calculation of Speaker Features Using Fully Homomorphic Encryption

Yogachandran Rahulamathavan|arXiv (Cornell University)|Feb 16, 2022

Chaos-based Image/Signal Encryption被引用 6

一句话总结

本文提出了一种基于全同态加密（FHE）和CKKS方案的隐私保护说话人验证系统，可在不解密的情况下对加密的语音特征执行实时相似度计算。该工作提出了一种基于牛顿-拉夫森法的新方法，高效计算加密域中的平方根倒数，实现1.3秒的验证延迟，且与明文处理相比仅造成2.8%的EER上升。

ABSTRACT

Recent advances in machine learning techniques are enabling Automated Speech Recognition (ASR) more accurate and practical. The evidence of this can be seen in the rising number of smart devices with voice processing capabilities. More and more devices around us are in-built with ASR technology. This poses serious privacy threats as speech contains unique biometric characteristics and personal data. However, the privacy concern can be mitigated if the voice features are processed in the encrypted domain. Within this context, this paper proposes an algorithm to redesign the back-end of the speaker verification system using fully homomorphic encryption techniques. The solution exploits the Cheon-Kim-Kim-Song (CKKS) fully homomorphic encryption scheme to obtain a real-time and non-interactive solution. The proposed solution contains a novel approach based on Newton Raphson method to overcome the limitation of CKKS scheme (i.e., calculating an inverse square-root of an encrypted number). This provides an efficient solution with less multiplicative depths for a negligible loss in accuracy. The proposed algorithm is validated using a well-known speech dataset. The proposed algorithm performs encrypted-domain verification in real-time (with less than 1.3 seconds delay) for a 2.8\\% equal-error-rate loss compared to plain-domain verification.

研究动机与目标

• 解决说话人验证系统中语音生物特征未加密传输至服务器所引发的隐私风险。
• 实现在匹配过程中无需解密的端到端加密说话人特征处理。
• 克服CKKS FHE在计算相似度度量所需平方根倒数时的计算限制。
• 实现适合实际语音生物识别系统部署的实时性能。
• 通过FHE和概率加密，防范跟踪、画像分析及密钥泄露攻击。

提出的方法

• 采用CKKS全同态加密方案，在加密域中对近似数值执行算术运算。
• 提出一种新颖的牛顿-拉夫森迭代方法，用于计算加密值的平方根倒数，降低乘法深度。
• 在客户端使用用户的私钥对说话人嵌入向量进行加密，再传输至服务器。
• 利用同态运算直接在加密特征向量上执行相似度匹配（如余弦相似度）。
• 采用概率加密防止跨多个服务的身份关联攻击。
• 使用基于阈值的验证机制，平衡误接受率与误拒绝率。

实验结果

研究问题

• RQ1 能否使用全同态加密在加密语音特征上实现实时说话人验证？
• RQ2 如何高效适配CKKS FHE方案以在加密域中计算平方根倒数？
• RQ3 与明文系统相比，端到端加密说话人验证的性能开销（延迟与准确率损失）如何？
• RQ4 该方案在用户设备、服务器或语音录音被攻破的情况下是否依然安全？
• RQ5 该系统能否防止通过加密生物特征模板在多个服务间对用户进行画像与跟踪？

主要发现

• 所提系统实现了端到端加密的说话人验证，总延迟小于1.3秒。
• 与明文验证相比，等错误率（EER）仅增加2.8%，表明准确率损失极小。
• 基于牛顿-拉夫森法的平方根倒数计算显著降低了乘法深度，实现了高效的同态评估。
• 即使攻击者使用随机或有模式的特征向量，误接受率仍保持较低，表明对欺骗攻击具有强抵抗力。
• 只要密钥得到保护，系统对被攻破的用户设备、服务器及语音录音均具备安全性。
• 概率加密可防止身份关联攻击，即使加密模板在不同服务间共享亦无法关联用户身份。