[论文解读] Split HE: Fast Secure Inference Combining Split Learning and Homomorphic Encryption

George-Liviu Pereteanu, Amir Alansary+1 more|arXiv (Cornell University)|Feb 27, 2022

Adversarial Robustness in Machine Learning被引用 6

一句话总结

该论文提出 Split HE，一种新颖的协议，结合了分割学习与同态加密，以实现视觉模型的快速、安全推理。通过将最敏感的模型层保留在服务器端，并仅对部分激活值进行加密，该方法在保持强隐私保护的前提下，使推理速度提升 2.5 倍至 10 倍，通信开销降低 14 倍至 290 倍，同时对成员推理攻击和模型提取攻击展现出更强的抵抗力。

ABSTRACT

This work presents a novel protocol for fast secure inference of neural networks applied to computer vision applications. It focuses on improving the overall performance of the online execution by deploying a subset of the model weights in plaintext on the client's machine, in the fashion of SplitNNs. We evaluate our protocol on benchmark neural networks trained on the CIFAR-10 dataset using SEAL via TenSEAL and discuss runtime and security performances. Empirical security evaluation using Membership Inference and Model Extraction attacks showed that the protocol was more resilient under the same attacks than a similar approach also based on SplitNN. When compared to related work, we demonstrate improvements of 2.5x-10x for the inference time and 14x-290x in communication costs.

研究动机与目标

• 解决现有基于同态加密的安全推理协议所面临的高计算与通信开销问题。
• 在不损害数据与模型隐私的前提下，提升实际应用中安全推理的效率。
• 相比先前的分割学习方法，增强对模型提取攻击与成员推理攻击的防护能力。
• 通过混合客户端-服务器计算模型，实现更大规模神经网络的安全部署。
• 提供一种通用、可扩展的框架，兼容支持分拆的各类神经网络架构。

提出的方法

• 该协议将预训练的神经网络分为三部分：两部分保留在服务器端，中间部分以明文形式发送至客户端。
• 客户端在其输入数据上执行前向传播，并将中间激活值发送至服务器，由服务器使用剩余的模型部分继续完成推理。
• 仅对部分层应用同态加密（通过 TenSEAL 实现的 CKKS 方案）——具体为服务器端的最后几层，以最小化加密计算开销。
• 服务器对加密的激活值执行同态运算，生成最终预测结果，且从不解密数据。
• 客户端接收加密输出并在本地解密，获得最终预测结果。
• 在白盒假设下，通过自定义的成员推理攻击与模型提取攻击对安全性进行评估。

实验结果

研究问题

• RQ1 混合使用分割学习与同态加密的协议是否能显著降低安全神经网络推理中的推理时间与通信成本？
• RQ2 在模型提取与成员推理攻击下，该协议的安全性相较于以往基于分割学习的方法如何？
• RQ3 在所提出的架构中，加密层的位置在多大程度上影响性能与隐私？
• RQ4 该协议在保持效率与安全性的同时，能否扩展至更大规模的模型与更复杂的视觉任务？
• RQ5 硬件与软件栈优化对协议性能的影响如何？

主要发现

• 与相关工作（包括 Delphi 和 CryptFlow2）相比，该协议实现 2.5 倍至 10 倍的推理速度提升，通信成本降低 14 倍至 290 倍。
• 实证评估表明，该协议对成员推理与模型提取攻击的抵抗能力强于 Hall 等人（2021）提出的类似方法，模型重建攻击者的准确率上限被控制在 59%。
• 对 DLA 架构中模型末尾的四层进行加密，可显著降低模型提取攻击的准确率，尽管会增加服务器端的处理时间。
• 在所有 MNIST 类别中，成员推理攻击者的攻击优势保持在较低且稳定的水平（0.03–0.11），表明泄露信息极少。
• 该协议具有通用性，支持任何可划分为三部分的神经网络架构，可安全部署于更大规模模型。
• 随着未来硬件（如 Intel AVX512）与同态加密库（如 Concrete、TFHE）的优化，性能有望进一步提升。