[论文解读] Partially Encrypted Machine Learning using Functional Encryption

Théo Ryffel, Edouard Dufour-Sans+3 more|arXiv (Cornell University)|May 24, 2019

Cryptography and Data Security参考文献 32被引用 14

一句话总结

本文提出了一种实用的隐私保护机器学习框架，利用功能加密（FE）实现部分加密的神经网络推理。该框架引入了一种高效的二次函数功能加密方案，结合对抗性训练以最小化解密中间输出的信息泄露，并在修改后的MNIST数据集上实现了超过97.7%的准确率，同时对敏感特征提供了强有力的隐私保障。

ABSTRACT

Machine learning on encrypted data has received a lot of attention thanks to recent breakthroughs in homomorphic encryption and secure multi-party computation. It allows outsourcing computation to untrusted servers without sacrificing privacy of sensitive data. We propose a practical framework to perform partially encrypted and privacy-preserving predictions which combines adversarial training and functional encryption. We first present a new functional encryption scheme to efficiently compute quadratic functions so that the data owner controls what can be computed but is not involved in the calculation: it provides a decryption key which allows one to learn a specific function evaluation of some encrypted data. We then show how to use it in machine learning to partially encrypt neural networks with quadratic activation functions at evaluation time, and we provide a thorough analysis of the information leaks based on indistinguishability of data items of the same label. Last, since most encryption schemes cannot deal with the last thresholding operation used for classification, we propose a training method to prevent selected sensitive features from leaking, which adversarially optimizes the network against an adversary trying to identify these features. This is interesting for several existing works using partially encrypted machine learning as it comes with little reduction on the model's accuracy and significantly improves data privacy.

研究动机与目标

• 实现隐私保护的机器学习，仅解密中间输出，避免模型预测结果的完整明文暴露。
• 解决部分加密模型中，特别是最终分类层的信息泄露问题。
• 设计一种针对二次函数的高效功能加密方案，支持在加密数据上进行安全计算。
• 开发一种通用的对抗性训练方法，增强模型对解密中间激活值的特征推断攻击的鲁棒性。
• 在真实世界图像分类任务中展示该方法的实用性，且准确率损失最小。

提出的方法

• 提出一种针对计算二次型优化的功能加密方案，相较于先前工作在效率和复杂度方面均有提升。
• 使用该FE方案对多项式神经网络的前几层进行加密，支持在加密输入上进行安全评估。
• 采用一种新颖的对抗性训练流程，优化网络以最小化解密中间层输出的信息泄露。
• 引入一种训练目标，通过使同类别数据项中的敏感特征难以区分，防止攻击者识别敏感特征。
• 采用双加密机制，使用两个密钥，确保仅揭示指定的函数计算结果（如二次型），而非原始输入。
• 将该框架应用于基于双字体MNIST的图像分类任务，推理时间在3秒以内完成。

实验结果

研究问题

• RQ1 功能加密能否高效地用于计算二次函数，从而支持安全的神经网络推理？
• RQ2 在部分加密模型中，如何最小化解密中间层输出的信息泄露？
• RQ3 能否利用对抗性训练增强神经网络，以抵御对解密输出的特征推断攻击？
• RQ4 在部分加密的机器学习系统中，模型准确率与隐私之间的权衡如何？
• RQ5 是否可行使用FE在无需双方交互的情况下，对加密数据实现安全且低延迟的推理？

主要发现

• 所提出的针对二次函数的功能加密方案在计算复杂度和效率方面优于先前工作。
• 该框架在双字体MNIST分类任务上实现了超过97.7%的准确率，同时确保模型最终预测结果未被直接暴露。
• 对抗性训练显著降低了攻击者从解密中间激活值中推断敏感特征的能力。
• 该系统实现了对加密输入的安全、低延迟推理（3秒以内），且无需数据所有者在线参与。
• 该方法有效防止攻击者基于解密输出区分同标签的数据项，从而增强隐私保护。
• 该方法与现有加密机器学习流水线兼容，可应用于多种半加密神经网络架构。