[论文解读] Shredder: Learning Noise to Protect Privacy with Partial DNN Inference on the Edge.

Fatemehsadat Mireshghallah, Mohammadkazem Taram+3 more|arXiv (Cornell University)|May 26, 2019

Privacy-Preserving Technologies in Data被引用 5

一句话总结

Shredder 是一个端到端框架，通过学习一种加性噪声分布，在不修改模型或权重的情况下，减少在 DNN 推理过程中发送到云端的数据的信息量。它在仅造成 1.46% 准确率损失的情况下，将输入与传输数据之间的互信息减少了 70.2%，实现了隐私保护的边缘推理，且性能损失极小。

ABSTRACT

A wide variety of DNN applications increasingly rely on the cloud to perform their huge computation. This heavy trend toward cloud-hosted inference services raises serious privacy concerns. This model requires the sending of private and privileged data over the network to remote servers, exposing it to the service provider. Even if the provider is trusted, the data can still be vulnerable over communication channels or via side-channel attacks [1,2] at the provider. To that end, this paper aims to reduce the information content of the communicated data without compromising the cloud service's ability to provide a DNN inference with acceptably high accuracy. This paper presents an end-to-end framework, called Shredder, that, without altering the topology or the weights of a pre-trained network, learns an additive noise distribution that significantly reduces the information content of communicated data while maintaining the inference accuracy. Shredder learns the additive noise by casting it as a tensor of trainable parameters enabling us to devise a loss functions that strikes a balance between accuracy and information degradation. The loss function exposes a knob for a disciplined and controlled asymmetric trade-off between privacy and accuracy. While keeping the DNN intact, Shredder enables inference on noisy data without the need to update the model or the cloud. Experimentation with real-world DNNs shows that Shredder reduces the mutual information between the input and the communicated data to the cloud by 70.2% compared to the original execution while only sacrificing 1.46% loss in accuracy.

研究动机与目标

• 解决在不安全信道上传输敏感数据的云上 DNN 推理中的隐私风险。
• 在不降低推理准确率的前提下，减少发送到云端的数据的信息量。
• 通过在传输前对输入添加可训练噪声，实现在边缘设备上的隐私保护推理。
• 通过可调损失函数，实现隐私与准确率之间的可控、非对称权衡。
• 保留原始 DNN 模型和推理流程，无需微调或架构修改。

提出的方法

• Shredder 引入了一个可微分的噪声层，在数据传输前向输入数据添加一个可学习的噪声张量。
• 通过自定义损失函数优化噪声参数，以平衡推理准确率与信息退化程度。
• 损失函数引入了一个权衡系数，用于控制模型准确率与互信息减少之间的平衡。
• 该框架端到端运行，保留原始 DNN 架构和权重，无需对云端模型进行微调。
• 通过损失函数中的可微分近似方法，最小化输入与传输数据之间的互信息。
• 该方法通过处理带有噪声的输入，实现在边缘设备上的部分推理，从而减少发送到云端的数据量。

实验结果

研究问题

• RQ1 能否通过学习加性噪声，在不降低准确率的前提下显著减少 DNN 推理中的信息泄露？
• RQ2 通过可训练噪声机制，输入与传输数据之间的互信息最多可降低多少？
• RQ3 所提出的框架在提升隐私保护的同时，能否有效维持高推理准确率？
• RQ4 隐私与准确率之间的权衡是否可以以受控且可调的方式实现？
• RQ5 该框架是否兼容现有 DNN 模型，而无需微调或架构修改？

主要发现

• 与原始 DNN 推理相比，Shredder 将输入与传输数据之间的互信息减少了 70.2%。
• 该框架仅造成 1.46% 的推理准确率下降，展现出优异的实用-隐私权衡性能。
• 该方法在不修改架构或权重的前提下，适用于多个现实世界中的 DNN 模型，并保持高准确率。
• 损失函数通过可调超参数，实现了对隐私与准确率之间可控、非对称权衡的支持。
• 该方法可端到端训练，并与现有的基于云端的推理流水线兼容。
• 该框架通过仅向云端传输带有噪声的、低信息量的数据，实现了边缘设备上的隐私保护推理。