[论文解读] Privacy-Preserving Inference in Machine Learning Services Using Trusted Execution Environments

Krishna Giri Narra, Zhifeng Lin+3 more|arXiv (Cornell University)|Dec 7, 2019

Adversarial Robustness in Machine Learning参考文献 34被引用 27

一句话总结

Origami 通过结合 Intel SGX 飞地与密码学遮蔽技术，并将计算卸载到不受信任的加速器上，实现了高性能、私密保护的大规模深度神经网络推理。其推理速度比纯 SGX 执行快 15.1 倍，并能有效抵抗强大条件生成对抗网络（conditional GAN）对手的重构攻击。

ABSTRACT

This work presents Origami, which provides privacy-preserving inference for large deep neural network (DNN) models through a combination of enclave execution, cryptographic blinding, interspersed with accelerator-based computation. Origami partitions the ML model into multiple partitions. The first partition receives the encrypted user input within an SGX enclave. The enclave decrypts the input and then applies cryptographic blinding to the input data and the model parameters. Cryptographic blinding is a technique that adds noise to obfuscate data. Origami sends the obfuscated data for computation to an untrusted GPU/CPU. The blinding and de-blinding factors are kept private by the SGX enclave, thereby preventing any adversary from denoising the data, when the computation is offloaded to a GPU/CPU. The computed output is returned to the enclave, which decodes the computation on noisy data using the unblinding factors privately stored within SGX. This process may be repeated for each DNN layer, as has been done in prior work Slalom. However, the overhead of blinding and unblinding the data is a limiting factor to scalability. Origami relies on the empirical observation that the feature maps after the first several layers can not be used, even by a powerful conditional GAN adversary to reconstruct input. Hence, Origami dynamically switches to executing the rest of the DNN layers directly on an accelerator without needing any further cryptographic blinding intervention to preserve privacy. We empirically demonstrate that using Origami, a conditional GAN adversary, even with an unlimited inference budget, cannot reconstruct the input. We implement and demonstrate the performance gains of Origami using the VGG-16 and VGG-19 models. Compared to running the entire VGG-19 model within SGX, Origami inference improves the performance of private inference from 11x while using Slalom to 15.1x.

研究动机与目标

• 解决在 Intel SGX 等可信执行环境（TEE）中完整运行大规模 DNN 模型所面临的性能瓶颈。
• 克服 TEE 的局限性，如内存容量有限以及缺乏对 GPU/TPU 的安全执行支持。
• 在不泄露敏感输入数据的前提下，实现对不受信任加速器的安全计算卸载。
• 通过密码学遮蔽技术，确保对包括条件生成对抗网络在内的强大敌手具备强隐私保障。
• 基于后期特征图对重构无信息量的实证观察，通过动态划分 DNN 模型实现性能与隐私的平衡。

提出的方法

• 将 DNN 模型划分为多个模块，初始层在 Intel SGX 飞地中执行。
• 在飞地中对输入数据和模型参数应用密码学遮蔽，以混淆敏感信息。
• 将遮蔽后的特征图计算卸载至不受信任的 GPU 或 CPU，通过飞地保护的遮蔽因子确保隐私。
• 使用存储在 SGX 中的私有解遮蔽因子，在计算卸载后重建正确输出。
• 基于实证观察——即后期层的特征图无法被重构——在早期层后动态切换从遮蔽执行转为直接加速器执行。
• 利用 Intel SGX 的安全性保护遮蔽/解遮蔽密钥，确保任何敌手都无法对卸载数据进行去噪。

实验结果

研究问题

• RQ1 我们能否在保持强隐私保障的前提下，实现对 VGG-16 和 VGG-19 等大规模 DNN 模型的高性能私密推理？
• RQ2 通过将后期层卸载至不受信任的加速器，我们能在多大程度上减轻 TEE 内的计算负载，同时不损害隐私？
• RQ3 密码学遮蔽能否有效防止强大条件生成对抗网络敌手对输入数据的重构？
• RQ4 在推理延迟和吞吐量方面，Origami 与纯 SGX 推理及先前工作（如 Slalom）相比表现如何？
• RQ5 考虑到后期层的特征图在实证上对输入重构无信息量，跳过遮蔽是否安全？

主要发现

• 与在 SGX 内完整运行 VGG-19 模型相比，Origami 将推理性能提升 15.1 倍，显著优于 Slalom 报告的 11 倍提升。
• 即使拥有无限推理预算，条件生成对抗网络敌手也无法重构原始输入，证明了其具备强隐私保障。
• 性能提升主要源于在初始遮蔽阶段后，将大部分计算卸载至不受信任的 GPU，从而大幅降低飞地工作负载。
• 基于实证结果，后期特征图不泄露可重构信息，因此在早期层后动态切换至直接执行是合理的。
• Origami 实现了接近 GPU 的私密推理性能，同时保持安全性，将 SGX 与 GPU 之间的性能差距从 105 倍缩小至 10 倍以内。
• 该框架具备通用性，可适配其他 TEE 架构（如 Sanctum），从而扩展其适用范围，不仅限于 Intel SGX。