[论文解读] Not Just Privacy: Improving Performance of Private Deep Learning in Mobile Cloud

Ji Wang, Jianguo Zhang+4 more|arXiv (Cornell University)|Sep 10, 2018

Privacy-Preserving Technologies in Data被引用 28

一句话总结

本文提出 Arden，一种面向移动-云深度学习的框架，通过在移动设备与云之间划分DNN，同时提升隐私保护与推理性能。该框架在将数据卸载至云之前，应用轻量级数据扰动（包括随机噪声添加与任意数据置零），并结合噪声训练以增强鲁棒性，从而在不损失准确率的前提下，将资源消耗降低高达60%。

ABSTRACT

The increasing demand for on-device deep learning services calls for a highly efficient manner to deploy deep neural networks (DNNs) on mobile devices with limited capacity. The cloud-based solution is a promising approach to enabling deep learning applications on mobile devices where the large portions of a DNN are offloaded to the cloud. However, revealing data to the cloud leads to potential privacy risk. To benefit from the cloud data center without the privacy risk, we design, evaluate, and implement a cloud-based framework ARDEN which partitions the DNN across mobile devices and cloud data centers. A simple data transformation is performed on the mobile device, while the resource-hungry training and the complex inference rely on the cloud data center. To protect the sensitive information, a lightweight privacy-preserving mechanism consisting of arbitrary data nullification and random noise addition is introduced, which provides strong privacy guarantee. A rigorous privacy budget analysis is given. Nonetheless, the private perturbation to the original data inevitably has a negative impact on the performance of further inference on the cloud side. To mitigate this influence, we propose a noisy training method to enhance the cloud-side network robustness to perturbed data. Through the sophisticated design, ARDEN can not only preserve privacy but also improve the inference performance. To validate the proposed ARDEN, a series of experiments based on three image datasets and a real mobile application are conducted. The experimental results demonstrate the effectiveness of ARDEN. Finally, we implement ARDEN on a demo system to verify its practicality.

研究动机与目标

• 解决在计算能力有限的移动设备上部署计算资源密集型深度神经网络（DNN）的挑战。
• 缓解在移动-云深度学习系统中，将数据卸载至云数据中心所引发的隐私风险。
• 提升云侧推理对因私有数据扰动导致的性能下降的鲁棒性。
• 设计一种实用、高效且具备隐私保护能力的框架，实现在移动-云DNN部署中实用性与安全性的平衡。

提出的方法

• Arden 将DNN进行划分，使浅层在移动设备上运行，而复杂且资源密集的层在云中执行。
• 在将数据卸载至云之前，通过轻量级本地转换对输入数据应用任意数据置零与拉普拉斯噪声添加。
• 该框架基于微分隐私进行严格的隐私预算分析，证明扰动后的数据满足 ε-微分隐私，其中 ε = ln[(1−μ)e^{2σ/Λ} + μ]。
• 引入噪声训练以增强云侧网络对扰动输入的鲁棒性，从而在数据混淆的情况下仍能提升推理准确率。
• 该方法利用一阶泰勒近似来建模噪声对网络输出的影响，从而实现理论上的隐私保障。
• 实现了一个演示系统以验证实用性并测量系统级开销，结果显示资源消耗减少超过60%。

实验结果

研究问题

• RQ1 移动-云深度学习框架能否在保持高推理准确率的同时保护用户隐私？
• RQ2 通过噪声添加与置零实现的数据扰动如何影响云侧DNN推理的性能？
• RQ3 噪声训练能否有效缓解由私有数据扰动引起的性能下降？
• RQ4 所提出的本地转换机制的理论隐私预算是多少？
• RQ5 该框架在真实世界的移动-云部署中，能在多大程度上降低资源消耗？

主要发现

• 在部署的演示系统中，Arden 将系统资源消耗降低了超过60%，展现出显著的效率提升。
• 得益于所提出的噪声训练技术，该框架在数据扰动下仍能保持高推理准确率。
• 理论分析证实，Arden 满足 ε-微分隐私，其中 ε = ln[(1−μ)e^{2σ/Λ} + μ]，提供了强有力的隐私保障。
• 在三个图像数据集及一个真实移动应用上的实验验证了Arden在隐私与性能之间平衡的有效性。
• 数据置零与噪声添加的集成增强了隐私保护，同时不损害实用性，表现为在扰动输入下仍具备鲁棒的推理能力。
• 该框架在隐私保护与推理效率方面均优于基线方法，证明了其在真实场景中的实际可行性。