[论文解读] Privacy-Preserving Visual Learning Using Doubly Permuted Homomorphic Encryption

Ryo Yonetani, Vishnu Naresh Boddeti+2 more|arXiv (Cornell University)|Apr 7, 2017

Cryptography and Data Security参考文献 58被引用 5

一句话总结

本文提出了一种使用双重置换同态加密（DPHE）的隐私保护视觉学习框架，可在不暴露私有数据的情况下，安全聚合来自分布式用户的本地训练加密分类器。通过强制稀疏性并仅对非零权重进行DPHE加密及索引置换，该方法实现了高效率与强隐私保障，在公开数据集上的表现优于现有隐私保护方法，同时保持了最先进水平的识别准确率。

ABSTRACT

We propose a privacy-preserving framework for learning visual classifiers by leveraging distributed private image data. This framework is designed to aggregate multiple classifiers updated locally using private data and to ensure that no private information about the data is exposed during and after its learning procedure. We utilize a homomorphic cryptosystem that can aggregate the local classifiers while they are encrypted and thus kept secret. To overcome the high computational cost of homomorphic encryption of high-dimensional classifiers, we (1) impose sparsity constraints on local classifier updates and (2) propose a novel efficient encryption scheme named doubly-permuted homomorphic encryption (DPHE) which is tailored to sparse high-dimensional data. DPHE (i) decomposes sparse data into its constituent non-zero values and their corresponding support indices, (ii) applies homomorphic encryption only to the non-zero values, and (iii) employs double permutations on the support indices to make them secret. Our experimental evaluation on several public datasets shows that the proposed approach achieves comparable performance against state-of-the-art visual recognition methods while preserving privacy and significantly outperforms other privacy-preserving methods.

研究动机与目标

• 解决从分布式私有图像数据中学习视觉分类器而不暴露敏感信息的挑战。
• 克服在隐私保护机器学习中，同态加密在高维分类器上带来的高计算成本问题。
• 设计一种针对联邦学习环境中稀疏高维模型更新的专用安全高效加密方案。
• 确保聚合方及其他用户无法从加密模型更新中推断出单个用户的私有数据或非零特征索引。
• 在保护数据隐私的同时，实现与最先进视觉识别方法相当的性能。

提出的方法

• 该框架使用同态密码系统，使聚合方可对加密的本地更新分类器进行平均计算，而无需解密。
• 对本地分类器更新施加稀疏性约束，以降低同态加密的维度与计算成本。
• 提出一种新型加密方案——双重置换同态加密（DPHE），仅对非零权重值进行加密，并对其支持索引应用双重置换以确保机密性。
• DPHE将每个分类器分解为非零值及其置换后的索引，其中一份置换与聚合方共享，另一份由用户保密。
• 安全性基于仅持有两份置换的用户才能重建原始索引，从而确保聚合方及其他用户无法识别私有数据。
• 该方法确保即使在至少三个非共谋方参与的情况下，也无法从平均模型中重构出个体贡献。

实验结果

研究问题

• RQ1 我们能否在不暴露敏感信息的情况下，安全聚合来自私有数据的本地训练视觉分类器？
• RQ2 如何降低在视觉学习中高维稀疏模型权重的同态加密计算成本？
• RQ3 我们能否设计一种加密方案，以保护分布式学习环境中非零权重及其索引的隐私？
• RQ4 当多个参与方可贡献加密模型更新且聚合方计算其平均值时，能提供何种程度的隐私保障？
• RQ5 与现有隐私保护及非私有视觉学习方法相比，所提方法在准确率与效率方面表现如何？

主要发现

• 所提出的DPHE方案通过仅对非零值及其置换索引进行操作，显著降低了同态加密的计算成本，使其适用于高维视觉模型。
• 该框架在Caltech101及其他公开数据集上实现了与最先进视觉识别方法相当的分类准确率，即使在使用加密训练数据的情况下亦如此。
• 该方法在准确率与效率方面均优于现有隐私保护方法，展现出优越的隐私-效用权衡优势。
• 安全分析表明，除非同时持有两份置换，否则任何一方（包括聚合方或其他用户）均无法识别出单个用户的私有数据或非零特征索引。
• 理论与实证结果证实，当存在三个或更多非共谋方时，原始模型更新与私有数据与加密聚合结果不可区分。
• 只要参与方不共谋，即使公开平均模型，该方法仍能保持强隐私性，原因在于双重置换与同态聚合的不可逆性。