[论文解读] Privacy Partitioning: Protecting User Data During the Deep Learning Inference Phase

Jianfeng Chi, Emmanuel Owusu+5 more|arXiv (Cornell University)|Dec 7, 2018

Adversarial Robustness in Machine Learning参考文献 39被引用 17

一句话总结

本文提出隐私分割（Privacy Partitioning）框架，将深度神经网络拆分为本地和远程两部分，以在推理过程中保护用户数据。通过训练交互式对抗性网络以最小化远程层中的信息泄露，该方法实现了强大的隐私保护——可有效防止从人脸图像中恢复性别等敏感属性——且不牺牲分类准确率。

ABSTRACT

We present a practical method for protecting data during the inference phase of deep learning based on bipartite topology threat modeling and an interactive adversarial deep network construction. We term this approach \emph{Privacy Partitioning}. In the proposed framework, we split the machine learning models and deploy a few layers into users' local devices, and the rest of the layers into a remote server. We propose an approach to protect user's data during the inference phase, while still achieve good classification accuracy. We conduct an experimental evaluation of this approach on benchmark datasets of three computer vision tasks. The experimental results indicate that this approach can be used to significantly attenuate the capacity for an adversary with access to the state-of-the-art deep network's intermediate states to learn privacy-sensitive inputs to the network. For example, we demonstrate that our approach can prevent attackers from inferring the private attributes such as gender from the Face image dataset without sacrificing the classification accuracy of the original machine learning task such as Face Identification.

研究动机与目标

• 应对深度学习推理中日益增长的隐私风险，即中间层激活可能暴露敏感用户数据。
• 缓解攻击者访问远程服务器层并从输入数据中推断私人属性（如性别、情绪）的威胁。
• 开发一种实用的非密码学方法，兼容现有深度学习流水线，支持在资源受限设备上实现隐私保护推理。
• 使模型提供方可保护其商业机密，同时让用户在推理过程中保有对私有数据的控制权。
• 通过聚焦推理阶段的数据泄露问题，补充现有的隐私保护技术（如差分隐私和密码学）。

提出的方法

• 将深度神经网络划分为两部分：部署在用户设备上的本地部分（Θₗ）和位于不可信服务器上的远程部分（Θᵣ）。
• 采用双部拓扑威胁模型，其中Θₗ可信，Θᵣ可能恶意，以模拟现实中的客户端-服务器和边缘-云部署。
• 使用交互式对抗性深度网络构建方法进行模型训练，以在保证任务性能的同时最小化对Θᵣ的信息泄露。
• 应用受控制论和博弈论启发的反馈与优化机制，迭代改进分割模型的隐私-效用权衡。
• 仅共享完成主要任务（如人脸识别）所必需的信息，抑制与私有属性相关的信号。
• 确保与现有隐私保护机制（包括差分隐私和加密协议）兼容，且无需重新训练模型。

实验结果

研究问题

• RQ1 分割的深度学习模型架构能否降低攻击者从推理过程中中间层激活中推断私有属性的能力？
• RQ2 隐私分割在防止攻击者通过访问远程层恢复敏感属性（如性别、情绪）方面效果如何？
• RQ3 该方法在最小化隐私泄露的同时，对主要任务（如人脸识别）的分类准确率保持程度如何？
• RQ4 与差分隐私和密码学等现有隐私保护技术相比，隐私分割在效率和实用性方面表现如何？
• RQ5 该框架能否在不引入显著架构或计算开销的前提下，与现有深度学习安全机制无缝集成？

主要发现

• 隐私分割框架显著降低了攻击者利用中间层激活从人脸图像中恢复私有属性（如性别）的能力。
• 该方法在不降低主要任务（如人脸识别）分类准确率的前提下实现了强大的隐私保护，保持了高实用性。
• 在基准计算机视觉数据集上的实验评估表明，即使面对最先进的输入恢复攻击，远程部分（Θᵣ）对敏感属性的信息泄露也极低。
• 该方法适用于计算能力较低的设备（如物联网设备和智能手机）部署，优于依赖密码学的方案，后者通常带来较高的计算开销。
• 该框架可与差分隐私和加密协议等其他隐私保护技术兼容，支持分层防御策略的构建。
• 交互式对抗性训练过程成功抑制了远程层中的私有属性信号，同时保留了模型输出中的任务相关特征。