[论文解读] XONN: XNOR-based Oblivious Deep Neural Network Inference

M. Sadegh Riazi, Mohammad Samragh+4 more|arXiv (Cornell University)|Feb 19, 2019

Privacy-Preserving Technologies in Data参考文献 57被引用 112

一句话总结

Xonn 引入一种使用 Garbled Circuits 的二进制神经网络框架，在其中将乘法替换为 XNOR 运算，从而实现常轮次的隐私保护 DNN 推断，相较于先前的基于 GC 和基于 HE 的方法可获得显著加速。

ABSTRACT

Advancements in deep learning enable cloud servers to provide inference-as-a-service for clients. In this scenario, clients send their raw data to the server to run the deep learning model and send back the results. One standing challenge in this setting is to ensure the privacy of the clients' sensitive data. Oblivious inference is the task of running the neural network on the client's input without disclosing the input or the result to the server. This paper introduces XONN, a novel end-to-end framework based on Yao's Garbled Circuits (GC) protocol, that provides a paradigm shift in the conceptual and practical realization of oblivious inference. In XONN, the costly matrix-multiplication operations of the deep learning model are replaced with XNOR operations that are essentially free in GC. We further provide a novel algorithm that customizes the neural network such that the runtime of the GC protocol is minimized without sacrificing the inference accuracy. We design a user-friendly high-level API for XONN, allowing expression of the deep learning model architecture in an unprecedented level of abstraction. Extensive proof-of-concept evaluation on various neural network architectures demonstrates that XONN outperforms prior art such as Gazelle (USENIX Security'18) by up to 7x, MiniONN (ACM CCS'17) by 93x, and SecureML (IEEE S&P'17) by 37x. State-of-the-art frameworks require one round of interaction between the client and the server for each layer of the neural network, whereas, XONN requires a constant round of interactions for any number of layers in the model. XONN is first to perform oblivious inference on Fitnet architectures with up to 21 layers, suggesting a new level of scalability compared with state-of-the-art. Moreover, we evaluate XONN on four datasets to perform privacy-preserving medical diagnosis.

研究动机与目标

• 促使基于云的隐私保护 DNN 推断，其中客户端数据和结果必须保持私密。
• 提出一个可扩展的端到端框架（Xonn），在 Garbled Circuits 中用 XNOR 运算取代代价高昂的矩阵乘法。
• 设计一个学习与编译流水线，使 DNN 适用于基于 GC 的推断，同时不牺牲准确性。
• 提供一个高级 API 和编译器，将 Keras 模型翻译为 Xonn 表达。
• 展示对深层网络（多达 21 层）的可扩展性，并在医疗数据集上进行评估。

提出的方法

• 将神经网络训练为二进制神经网络，以在 GC 协议中用 XNOR 基于的计算替代乘法。
• 引入网络定制工作流（线性缩放和网络裁剪）以在准确性和 GC 成本之间取得平衡。
• 使用基于盲传输的隐式条件加法（OCA）协议，在第一层高效处理非二进制输入。
• 通过编译器将高级模型（Keras）翻译为 Xonn，并提供用于模型描述的高级 API。
• 评估相较于现有工作（Gazelle、MiniONN、SecureML）的隐私推断时延，并在各层之间展示常轮交互。

实验结果

研究问题

• RQ1 如何在与网络深度无关的情况下，通过减少交互轮次使 DNN 推断保持隐匿？
• RQ2 哪些训练/裁剪策略能够产生适用于 GC 基推断的高精度二进制神经网络？
• RQ3 能否通过基于 OT 的协议将第一层的非二进制输入高效地与二值权重网络集成？
• RQ4 与现有基于 GC 和基于 HE 的隐私保护推断框架相比，Xonn 的实际时延提升有哪些？
• RQ5 是否可扩展到更深的网络（例如多达 21 层），并适用于医学诊断数据集？

主要发现

• Xonn 在隐匿推断中实现的时延比 Gazelle 低最多 7 倍，比 MiniONN 低最多 93 倍。
• 在 GC/HE 基于的比较中，Xonn 比 DeepSecure 高 60 倍，比 CryptoNets 高 1859 倍。
• 该框架在将乘法替换为 XNOR 运算的同时，仍能维持二值权重与激活的推断精度。
• Xonn 支持常轮次交互模型，无论模型深度如何，从而提高在互联网规模环境中的实用性。
• 本工作在多达 21 层的网络上演示了隐匿推断，并在医学数据集（乳腺癌、糖尿病、肝病、疟疾）上进行评估。