[论文解读] Popcorn: Paillier Meets Compression For Efficient Oblivious Neural Network Inference

Jun Wang, Chao Jin+2 more|arXiv (Cornell University)|Jul 5, 2021

Cryptography and Data Security参考文献 35被引用 5

一句话总结

Popcorn 是一个完全基于 Paillier 同态加密方案构建的隐私保护神经网络推理框架，可在不修改网络架构的前提下实现高效的无感知推理。它通过神经网络压缩和同态运算减少通信开销——首次在 ImageNet 上成功实现无感知推理，并在带宽方面显著优于先前方法。

ABSTRACT

Oblivious inference enables the cloud to provide neural network inference-as-a-service (NN-IaaS), whilst neither disclosing the client data nor revealing the server's model. However, the privacy guarantee under oblivious inference usually comes with a heavy cost of efficiency and accuracy. We propose Popcorn, a concise oblivious inference framework entirely built on the Paillier homomorphic encryption scheme. We design a suite of novel protocols to compute non-linear activation and max-pooling layers. We leverage neural network compression techniques (i.e., neural weights pruning and quantization) to accelerate the inference computation. To implement the Popcorn framework, we only need to replace algebraic operations of existing networks with their corresponding Paillier homomorphic operations, which is extremely friendly for engineering development. We first conduct the performance evaluation and comparison based on the MNIST and CIFAR-10 classification tasks. Compared with existing solutions, Popcorn brings a significant communication overhead deduction, with a moderate runtime increase. Then, we benchmark the performance of oblivious inference on ImageNet. To our best knowledge, this is the first report based on a commercial-level dataset, taking a step towards the deployment to production.

研究动机与目标

• 通过最小化通信和计算开销，解决无感知神经网络推理中的效率与隐私权衡问题。
• 在不修改神经网络架构的前提下实现隐私保护推理，同时保持模型精度。
• 仅依赖 Paillier 同态运算，降低工程复杂度，使机器学习工程师能够轻松部署。
• 证明在大规模数据集（如 ImageNet）上实现无感知推理的可行性，此前工作尚未报道。
• 通过隐藏模型权重和架构（除每层神经元数量外）实现隐私泄露与性能之间的平衡。

提出的方法

• 将神经网络中的标准代数运算替换为 Paillier 同态运算的等价形式，以实现对加密数据的计算。
• 设计新颖协议，实现在 Paillier 框架内对非线性层（特别是 ReLU 激活和最大池化）的安全高效计算。
• 应用神经网络压缩技术，包括权重剪枝和量化，以加速线性层（如卷积层和全连接层）。
• 利用 Paillier 的类似 SIMD 的能力，将多个输入打包到单个密文中，分摊通信和计算成本。
• 实现一种非侵入式框架，无需修改模型架构，支持与现有模型的即插即用式集成。
• 采用混合方法，由同态运算处理线性层，自定义协议处理非线性运算，最大限度减少对复杂密码原语的依赖。

实验结果

研究问题

• RQ1 基于同态加密的框架能否在不修改神经网络架构的前提下实现高效的无感知推理？
• RQ2 如何在 Paillier 同态加密下安全高效地计算非线性操作（如 ReLU 和最大池化）？
• RQ3 神经网络压缩技术在加密推理中能在多大程度上减少计算和通信开销？
• RQ4 是否可行使用一种实用且低泄露的框架在大规模数据集（如 ImageNet）上执行无感知推理？
• RQ5 Popcorn 的通信复杂度与现有方案（如 XONN 和 Gazelle）相比如何，特别是在大模型上的表现？

主要发现

• 对于 MNIST 和 CIFAR-10 任务，Popcorn 的通信带宽低于 1 MB，显著低于 XONN 和 Gazelle 等先前工作。
• 在使用 AlexNet 进行 ImageNet 推理时，Popcorn 保持在合理范围内的通信开销，而 Gazelle 的实现因内存不足而失败。
• Popcorn 的通信复杂度为 O(n)，其中 n 为激活值数量，相比 XONN 和 Gazelle 等依赖架构的方案更具可扩展性。
• 运行时间增加适中，而通信开销大幅降低——使 Popcorn 在大模型上具有显著优势。
• Popcorn 是首个报告在使用最先进模型的 ImageNet 规模分类任务中成功实现无感知推理的框架。
• 该框架通过仅将代数运算替换为同态等价形式，实现简单替换，显著降低工程复杂度，支持实际部署。