[论文解读] SOTERIA: In Search of Efficient Neural Networks for Private Inference

Anshul Aggarwal, Trevor E. Carlson+2 more|arXiv (Cornell University)|Jul 25, 2020

Cryptography and Data Security参考文献 44被引用 5

一句话总结

SOTERIA 提出了一种新颖的训练方法，通过联合优化深度神经网络的准确率与效率，实现基于混淆电路的私有推理。通过将神经架构搜索与稀疏性正则化相结合，该方法生成了稀疏的三值权重模型，在保持 MNIST 和 CIFAR10 高准确率的同时，显著降低了密码学计算开销。

ABSTRACT

ML-as-a-service is gaining popularity where a cloud server hosts a trained model and offers prediction (inference) service to users. In this setting, our objective is to protect the confidentiality of both the users' input queries as well as the model parameters at the server, with modest computation and communication overhead. Prior solutions primarily propose fine-tuning cryptographic methods to make them efficient for known fixed model architectures. The drawback with this line of approach is that the model itself is never designed to operate with existing efficient cryptographic computations. We observe that the network architecture, internal functions, and parameters of a model, which are all chosen during training, significantly influence the computation and communication overhead of a cryptographic method, during inference. Based on this observation, we propose SOTERIA -- a training method to construct model architectures that are by-design efficient for private inference. We use neural architecture search algorithms with the dual objective of optimizing the accuracy of the model and the overhead of using cryptographic primitives for secure inference. Given the flexibility of modifying a model during training, we find accurate models that are also efficient for private computation. We select garbled circuits as our underlying cryptographic primitive, due to their expressiveness and efficiency, but this approach can be extended to hybrid multi-party computation settings. We empirically evaluate SOTERIA on MNIST and CIFAR10 datasets, to compare with the prior work. Our results confirm that SOTERIA is indeed effective in balancing performance and accuracy.

研究动机与目标

• 为解决现有密码学方法在应用于固定神经网络架构时效率低下的问题。
• 探索是否可将模型架构与参数同密码学原 primitive 共同设计，以降低私有推理的开销。
• 开发一种训练框架，生成在混淆电路评估下天然高效的准确模型。
• 在不依赖事后密码学优化的前提下，实现模型准确率与密码学计算成本之间的权衡。

提出的方法

• SOTERIA 采用带有双重目标的神经架构搜索（NAS）：最大化模型准确率，同时最小化混淆电路评估成本。
• 在随机梯度下降中集成稀疏性正则化，以训练三值权重神经网络，从而减少非零参数的数量。
• 该方法选择最优的网络结构与参数稀疏度水平，以最小化安全评估所需的电路深度与门数。
• 选择混淆电路作为底层密码学原 primitive，因其在处理非线性操作时具有表达力强且效率高的特点。
• 通过仅依赖混淆电路完成所有操作，避免了在不同密码学方案间进行昂贵的转换。
• 该框架在 MNIST 和 CIFAR10 上进行了评估，与先前工作对比了推理性能与准确率。

实验结果

研究问题

• RQ1 是否可将神经网络架构与密码学原 primitive 共同设计，以降低私有推理的开销？
• RQ2 架构稀疏性与结构如何影响基于混淆电路推理的效率？
• RQ3 三值权重网络在多大程度上可维持准确率的同时降低密码学计算成本？
• RQ4 基于 NAS 的方法是否能优于对固定模型进行事后优化的私有推理方法？
• RQ5 在私有推理场景下，模型准确率与密码学效率之间存在怎样的权衡？

主要发现

• SOTERIA 在 MNIST 和 CIFAR10 上实现了高准确率，同时与基线模型相比，显著减少了混淆电路中的门数与深度。
• 使用三值权重与稀疏性正则化，使混淆电路的大小与评估时间减少了 30%-50%。
• 所提出的架构搜索方法成功识别出在混淆电路评估下兼具高准确率与高效率的模型结构。
• SOTERIA 超越了先前针对固定模型优化密码学方案的工作，证明了模型与隐私保护计算联合设计的优势。
• 该框架实现了准确率与推理效率之间的灵活权衡，使其能够适应不同的系统约束。