[论文解读] Privacy preserving Neural Network Inference on Encrypted Data with GPUs

Daniel Takabi, Robert Podschwadt+3 more|arXiv (Cornell University)|Nov 26, 2019

Cryptography and Data Security参考文献 14被引用 8

一句话总结

本文提出了一种基于GPU加速的全同态加密（FHE）框架，用于在加密数据上实现卷积神经网络（CNN）的隐私保护推理。通过使用多项式逼近替代非线性激活函数，并优化GPU上的FHE操作，该方法在乘法操作上实现了超过4,500倍的加速，且在与AlexNet相似的CNN模型上于COWC数据集上达到了95%的分类准确率。

ABSTRACT

Machine Learning as a Service (MLaaS) has become a growing trend in recent years and several such services are currently offered. MLaaS is essentially a set of services that provides machine learning tools and capabilities as part of cloud computing services. In these settings, the cloud has pre-trained models that are deployed and large computing capacity whereas the clients can use these models to make predictions without having to worry about maintaining the models and the service. However, the main concern with MLaaS is the privacy of the client's data. Although there have been several proposed approaches in the literature to run machine learning models on encrypted data, the performance is still far from being satisfactory for practical use. In this paper, we aim to accelerate the performance of running machine learning on encrypted data using combination of Fully Homomorphic Encryption (FHE), Convolutional Neural Networks (CNNs) and Graphics Processing Units (GPUs). We use a number of optimization techniques, and efficient GPU-based implementation to achieve high performance. We evaluate a CNN whose architecture is similar to AlexNet to classify homomorphically encrypted samples from the Cars Overhead With Context (COWC) dataset. To the best of our knowledge, it is the first time such a complex network and large dataset is evaluated on encrypted data. Our approach achieved reasonable classification accuracy of 95% for the COWC dataset. In terms of performance, our results show that we could achieve several thousands times speed up when we implement GPU-accelerated FHE operations on encrypted floating point numbers.

研究动机与目标

• 解决全同态加密（FHE）在大规模数据集上隐私保护机器学习中的性能瓶颈问题。
• 通过FHE兼容的神经网络架构，实现在加密数据上的高效推理，尤其适用于复杂模型如CNN。
• 通过利用GPU加速，克服FHE在大型模型和数据集上的计算不可行性。
• 展示端到端隐私保护机器学习即服务（MLaaS）在实际应用中的可行性，结合同态加密与GPU加速。

提出的方法

• 使用多项式逼近将非线性激活函数（如ReLU）替换为适合同态加密的替代形式，以支持FHE评估。
• 通过将加密的浮点数转换为整数数组，并利用布尔电路执行算术运算，实现在加密浮点数上的FHE操作。
• 利用GPU内核加速FHE操作，特别针对Titan V GPU（80个核心）上的加法和乘法操作。
• 通过最小化布尔电路深度并利用GPU架构中的并行性，优化FHE流水线。
• 将GPU加速的FHE层集成到与AlexNet相似的CNN架构中，并在COWC数据集上进行训练。
• 通过比较加密与未加密数据上的推理时间与分类结果，测量性能与准确率。

实验结果

研究问题

• RQ1 能否通过GPU加速使基于FHE的神经网络推理在大规模真实数据集（如COWC）上变得实用？
• RQ2 GPU加速在多大程度上能够降低对加密浮点数执行FHE操作的计算开销？
• RQ3 使用FHE兼容的多项式逼近的CNN在加密数据上的准确率与标准ReLU网络相比如何？
• RQ4 在隐私保护MLaaS环境中，使用GPU相比CPU在FHE推理中能带来多大的性能提升？
• RQ5 能否通过优化的FHE技术成功在同态加密数据上评估复杂的CNN架构（如AlexNet）？

主要发现

• 所提出的FHE兼容CNN在对同态加密数据进行推理时，在COWC数据集上达到了95%的分类准确率。
• 与CPU执行相比，GPU加速将单次加密数据乘法操作的时间减少了4,500倍以上。
• 通过GPU加速的FHE操作，加密浮点数加法操作实现了超过10,000倍的加速。
• 性能随着GPU核心数量的增加近乎线性提升，表明FHE操作在GPU上具有极高的并行化效率。
• 该框架成功在大规模真实数据集（COWC）上评估了复杂的CNN架构，据作者所知，这是首次使用FHE实现此类评估。
• 对ReLU和平均池化层使用多项式逼近，在保持模型性能的同时实现了同态评估的可行性。