[论文解读] Precise Approximation of Convolutional Neural Networks for Homomorphically Encrypted Data

Junghyun Lee, Eunsang Lee+4 more|arXiv (Cornell University)|May 23, 2021

Cryptography and Data Security被引用 13

一句话总结

本论文提出了一种针对卷积神经网络（CNN）中ReLU和最大池化函数的精确多项式逼近技术，以实现在全同态加密（FHE）数据上高效且保护隐私的推理。通过组合低次的极小化多项式，该方法使现有成熟模型（如ResNet和VGGNet）可直接使用预训练权重在逐字全同态加密（FHE）上运行，ImageNet数据集上达到77.52%的top-1准确率，较原始模型的78.31%仅低0.79%。

ABSTRACT

Homomorphic encryption is one of the representative solutions to privacy-preserving machine learning (PPML) classification enabling the server to classify private data of clients while guaranteeing privacy. This work focuses on PPML using word-wise fully homomorphic encryption (FHE). In order to implement deep learning on word-wise homomorphic encryption (HE), the ReLU and max-pooling functions should be approximated by some polynomials for homomorphic operations. Most of the previous studies focus on HE-friendly networks, where the ReLU and max-pooling functions are approximated using low-degree polynomials. However, for the classification of the CIFAR-10 dataset, using a low-degree polynomial requires designing a new deep learning model and training. In addition, this approximation by low-degree polynomials cannot support deeper neural networks due to large approximation errors. Thus, we propose a precise polynomial approximation technique for the ReLU and max-pooling functions. Precise approximation using a single polynomial requires an exponentially high-degree polynomial, which results in a significant number of non-scalar multiplications. Thus, we propose a method to approximate the ReLU and max-pooling functions accurately using a composition of minimax approximate polynomials of small degrees. If we replace the ReLU and max-pooling functions with the proposed approximate polynomials, well-studied deep learning models such as ResNet and VGGNet can still be used without further modification for PPML on FHE. Even pre-trained parameters can be used without retraining. We approximate the ReLU and max-pooling functions in the ResNet-152 using the composition of minimax approximate polynomials of degrees 15, 27, and 29. Then, we succeed in classifying the plaintext ImageNet dataset with 77.52% accuracy, which is very close to the original model accuracy of 78.31%.

研究动机与目标

• 解决在不重新训练的情况下，使用标准深度学习模型对同态加密数据进行推理的挑战。
• 克服先前同态加密友好网络中使用低次多项式逼近所导致的局限性，这些方法需要模型重新设计，且难以扩展至更深的网络结构。
• 通过高精度、基于组合的多项式逼近，使经过充分研究的预训练模型（如ResNet和VGGNet）可直接应用于加密数据。
• 在保持与现有FHE方案兼容性的同时，实现接近原始模型的高推理准确率，并最小化计算开销。

提出的方法

• 提出使用小次数（如15、27、29）的极小化近似多项式组合，以高精度逼近ReLU和最大池化函数。
• 引入精度参数α以控制逼近误差，确保原始模型输出与近似模型输出之间的差异被限制在C·2⁻ᵅ以内，其中C为常数。
• 将误差传播分析推广至ResNet等模型中的残差块，证明即使在深层网络中，误差仍被限制在C·2⁻ᵅ以内。
• 证明该逼近方法保持了模型结构，使预训练权重可直接使用而无需重新训练。
• 利用近期FHE自举技术的改进，高效处理高次多项式评估。
• 通过误差函数Eₐᵅ(e)的形式化误差传播分析，并基于网络深度进行归纳推导，确保逼近准确性的理论保障。

实验结果

研究问题

• RQ1 是否可以使用低次多项式在不重新训练模型的前提下，对ReLU和最大池化函数实现高精度逼近？
• RQ2 在使用多项式逼近时，如何在深层残差网络（如ResNet）中控制逼近误差？
• RQ3 在使用FHE对加密ImageNet数据进行推理时，预训练模型（如ResNet-152）的适用范围有多大？
• RQ4 逼近精度（由α控制）与同态计算开销之间的权衡关系如何？
• RQ5 极小化多项式的组合能否在保持与现有FHE方案兼容性的同时，实现接近原始模型的准确率？

主要发现

• 所提方法在使用同态加密的ImageNet数据集上，基于ResNet-152模型实现了77.52%的top-1准确率，较原始模型的78.31%仅低0.79%。
• 原始模型与近似模型之间的逼近误差被限制在C·2⁻ᵅ以内，表明提高精度参数α可使误差呈指数级下降。
• 经过充分研究的模型（如ResNet和VGGNet）在将ReLU和最大池化层替换为所提多项式逼近后，可直接使用预训练权重。
• 该方法支持的网络深度超过先前同态加密友好方法的限制，后者因低次多项式导致的较大逼近误差而难以扩展。
• 理论分析证明，即使在残差网络中，误差仍保持有界，误差传播函数Eᵣᵅ(e)满足Eᵣᵅ(e) ≤ C·2⁻ᵅ + (||P||∞ + C'₉)e。
• 该方法使在复杂数据集（如ImageNet）上使用标准预训练模型实现实用的隐私保护推理成为可能，且无需修改网络结构或重新训练。