[论文解读] Shredder: Learning Noise Distributions to Protect Inference Privacy

Fatemehsadat Mireshghallah, Mohammadkazem Taram+3 more|arXiv (Cornell University)|May 26, 2019

Privacy-Preserving Technologies in Data参考文献 74被引用 5

一句话总结

Shredder 是一种保护隐私的框架，通过在将中间深度神经网络（DNN）激活发送到云端之前，注入经过学习的加性噪声分布，实现在保持高精度推理的同时显著减少泄露给云端的信息。它在仅造成 1.58% 的精度损失下，将输入与传输数据之间的互信息减少了 74.70%，并通过独立的离线学习过程优化噪声分布，无需修改模型或推理流水线。

ABSTRACT

A wide variety of deep neural applications increasingly rely on the cloud to perform their compute-heavy inference. This common practice requires sending private and privileged data over the network to remote servers, exposing it to the service provider and potentially compromising its privacy. Even if the provider is trusted, the data can still be vulnerable over communication channels or via side-channel attacks in the cloud. To that end, this paper aims to reduce the information content of the communicated data with as little as possible compromise on the inference accuracy by making the sent data noisy. An undisciplined addition of noise can significantly reduce the accuracy of inference, rendering the service unusable. To address this challenge, this paper devises Shredder, an end-to-end framework, that, without altering the topology or the weights of a pre-trained network, learns additive noise distributions that significantly reduce the information content of communicated data while maintaining the inference accuracy. The key idea is finding the additive noise distributions by casting it as a disjoint offline learning process with a loss function that strikes a balance between accuracy and information degradation. The loss function also exposes a knob for a disciplined and controlled asymmetric trade-off between privacy and accuracy. Experimentation with six real-world DNNs from text processing and image classification shows that Shredder reduces the mutual information between the input and the communicated data to the cloud by 74.70% compared to the original execution while only sacrificing 1.58% loss in accuracy. On average, Shredder also offers a speedup of 1.79x over Wi-Fi and 2.17x over LTE compared to cloud-only execution when using an off-the-shelf mobile GPU (Tegra X2) on the edge.

研究动机与目标

• 为应对云环境中的深度学习推理日益增长的隐私风险，即敏感用户数据暴露于不可信或被攻破的云提供商风险。
• 在不降低推理精度的前提下减少传输至云端的数据的信息含量，特别是在实时、边缘辅助推理场景中。
• 提供一种轻量级、非侵入式解决方案，保护模型完整性，避免同态加密或安全多方计算等密码学技术带来的高计算开销。
• 通过数学基础坚实的优化参数，实现可调节的、非对称的隐私与精度权衡。
• 设计一种仅在推理阶段运行的系统，无需重新训练或修改云端模型。

提出的方法

• Shredder 将噪声注入建模为独立的离线学习过程，使用可微分损失函数训练噪声分布，以平衡精度与信息退化。
• 该框架通过最小化包含模型精度和输入与传输数据之间互信息的复合损失，学习加性噪声分布（特别是拉普拉斯分布）。
• 在推理阶段，边缘设备从预先学习的噪声分布中采样，并将采样得到的噪声张量加到中间 DNN 激活值上，再发送至云端。
• 该方法无需修改原始 DNN 架构或权重，保留了云端的推理流水线，支持与现有模型无缝集成。
• 损失函数包含一个超参数调节钮，允许用户控制隐私（信息减少）与精度（模型性能）之间的权衡。
• 形式化数学分析证明，Shredder 在给定约束下最大化隐私，同时最小化精度退化，并对权衡关系提供理论保证。

实验结果

研究问题

• RQ1 我们能否在不显著降低模型精度的前提下，减少 DNN 推理过程中发送至云端的数据的信息含量？
• RQ2 如何以非侵入式、端到端的方式学习在隐私与精度之间实现最优权衡的噪声分布？
• RQ3 我们能否在不修改预训练模型或推理过程中无需重新训练的情况下实现这一目标？
• RQ4 此类噪声注入对通信效率和多种 DNN 在现实世界中的性能有何影响？
• RQ5 我们能否为实际可部署系统中的隐私-精度权衡提供正式的数学保证？

主要发现

• 与原始未修改的 DNN 执行相比，Shredder 将输入数据与传输的中间特征之间的互信息减少了 74.70%。
• 该框架在来自图像分类和文本处理工作负载的六个真实世界 DNN 上，平均仅造成 1.58% 的精度损失。
• 平均而言，与仅使用云端推理相比，Shredder 在使用现成移动 GPU（Tegra X2）时，Wi-Fi 下实现 1.79 倍加速，LTE 下实现 2.17 倍加速。
• 由于噪声通过可微分、端到端的优化过程学习，系统保持了高效用和高精度，从而保留了模型行为。
• 通过损失函数中的数学调节钮，系统实现了可调节的隐私-精度权衡，使用户能够控制信息泄露水平。
• Shredder 在性能上优于同态加密和安全多方计算等密码学替代方案，后者因极高的延迟和计算开销而难以实用化。