[论文解读] SEALion: a Framework for Neural Network Inference on Encrypted Data

Tim van Elsloo, Giorgio Patrini+1 more|arXiv (Cornell University)|Apr 29, 2019

Cryptography and Data Security参考文献 29被引用 35

一句话总结

SEALion 是一个可扩展的框架，能够在明文数据上训练神经网络，并在同态加密数据上进行推断，且具备自动加密参数选择功能。它展示了通过激活稀疏化提升加密推断性能，并引入使用服务器端 VAE 的加密迁移学习。

ABSTRACT

We present SEALion: an extensible framework for privacy-preserving machine learning with homomorphic encryption. It allows one to learn deep neural networks that can be seamlessly utilized for prediction on encrypted data. The framework consists of two layers: the first is built upon TensorFlow and SEAL and exposes standard algebra and deep learning primitives; the second implements a Keras-like syntax for training and inference with neural networks. Given a required level of security, a user is abstracted from the details of the encoding and the encryption scheme, allowing quick prototyping. We present two applications that exemplifying the extensibility of our proposal, which are also of independent interest: i) improving efficiency of neural network inference by an activity sparsifier and ii) transfer learning by querying a server-side Variational AutoEncoder that can handle encrypted data.

研究动机与目标

• 推动隐私保护的机器学习预测，并在加密数据上实现实用的神经网络。
• 提供一个可扩展的软件架构，将类 TensorFlow 的训练与基于 SEAL 的加密推断相结合。
• 自动化加密参数选择，在满足安全性保证的同时最大化性能。
• （i）通过对激活进行稀疏化以加速加密推断，(ii) 通过服务器端 VAE 表征实现加密迁移学习。

提出的方法

• 将 SEALion 构建为覆盖 SEAL 的原语层，用于在加密数据上评估多变量多项式函数。
• 暴露一个类 TensorFlow 的接口（HEras），用于在明文上训练、在加密数据上进行推断，采用类似 Keras 的语法。
• 使用批处理（SIMD）和中国剩余定理（CRT）来管理明文模量并提高吞吐量。
• 通过探索 (n, t) 候选值并对照噪声预算进行验证，实现自动加密参数选择。
• 将神经网络离散化以适应同态加密所需的多项式运算。
• 展示激活稀疏化以减少加密运算并加速推断。
• 通过查询服务器端 VAE 获取加密表征，引入加密迁移学习。

实验结果

研究问题

• RQ1 是否可以在明文中训练神经网络并部署用于加密推断，同时不暴露输入数据？
• RQ2 如何在基于 SEAL 的推断中自动选择加密参数，以在安全性、深度和性能之间取得平衡？
• RQ3 激活稀疏化是否在不牺牲准确性的前提下显著降低延迟并提高加密神经网络的吞吐量？
• RQ4 通过服务器端 VAE 的加密迁移学习在保护客户端隐私的同时获取有用表征是否可行？
• RQ5 在 MNIST 的代表性架构上，SEALion 的实际性能与准确性权衡是什么？

主要发现

模型	参数	激活	n,t	延迟 [s]	吞吐量 [1/h]	精度 [%]
CryptoNets	126,375	945	4096,2	250	58,982	98.95
Faster CryptoNets	—	945	8192,2	39.1	754,250	98.71
DiNN-30	26,520	30	—	0.491	6,990	93.46
DiNN-100	79,400	100	—	1.64	2,143	96.35
TAPAS	—	—	—	32[h]	—	98.60
Our Work - DNN-30	26,520	30	4096,1	1.14	12,933,344	97.40
Our Work - DNN-100	79,400	100	4096,1	3.28	4,494,965	98.01
Our Work - CNN-16	79,800	3,236	8192,2	192	153,600	98.96
Our Work - CNN-16 L0	79,800	762	8192,2	60	491,520	98.91

• 基于加密的推断在对多项式网络进行离散化后也能实现具有竞争力的准确度。
• 激活稀疏化（L0 活动稀疏化器）在加密推断中的延迟和吞吐量方面有显著提升（例如，L0 的 CNN-16 在保持准确率的同时实现显著的加速）。
• 密集结果包括与 CryptoNets 等基线的比较，模型如 DNN-30、DNN-100、CNN-16 以及带 L0 的 CNN-16 在 MNIST 上达到高准确率，并具有显著不同的延迟/吞吐量特性。
• 通过离散化 VAE（dVAE）的加密迁移学习能够提取在隐私约束下提升下游分类器性能的表征。
• 自动参数选择通过探索多项式次数 n 和明文模量 t，在达到目标安全级别的同时平衡延迟和吞吐量，并避免噪声预算耗尽。