[论文解读] Protecting Sensitive Attributes via Generative Adversarial Networks

Aria Rezaei, Chaowei Xiao+2 more|arXiv (Cornell University)|Jan 1, 2018

Privacy-Preserving Technologies in Data参考文献 33被引用 12

一句话总结

本文提出了一种基于生成对抗网络（GAN）的框架，通过生成隐私保护型扰动来隐藏数据中的敏感属性，同时保持目标机器学习应用的性能。通过训练一个紧凑且高效的噪声生成网络，该方法能有效隐藏敏感信息（如性别或种族），即使在未见过的神经网络架构上，也不会降低下游任务的性能。

ABSTRACT

Recent advances in computing have allowed for the possibility to collect large amounts of data on personal activities and private living spaces. Collecting and publishing a dataset in this environment can cause concerns over privacy of the individuals in the dataset. In this paper we examine these privacy concerns. In particular, given a target application, how can we mask sensitive attributes in the data while preserving the utility of the data in that target application. Our focus is on protecting attributes that are hidden and can be inferred from the data by machine learning algorithms. We propose a generic framework that (1) removes the knowledge useful for inferring sensitive information, but (2) preserves the knowledge relevant to a given target application. We use deep neural networks and generative adversarial networks (GAN) to create privacy-preserving perturbations. Our noise-generating network is compact and efficient for running on mobile devices. Through extensive experiments, we show that our method outperforms conventional methods in effectively hiding the sensitive attributes while guaranteeing high performance for the target application. Our results hold for new neural network architectures, not seen before during training and are suitable for training new classifiers.

研究动机与目标

• 解决数据集中因敏感属性（如性别、种族）可被机器学习推断而带来的隐私风险。
• 开发一种通用框架，在不损害目标应用数据可用性的前提下，消除易被推断的知识。
• 利用紧凑的深度神经网络，实现在设备端高效部署隐私保护型转换。
• 在推理过程中对多种此前未见过的神经网络架构保持鲁棒性。
• 在对敏感属性进行扰动后，仍保持目标模型（如分类器）的高性能。

提出的方法

• 利用生成对抗网络（GANs）学习一个噪声生成网络，通过扰动输入数据来隐藏敏感属性。
• 训练生成器以最小化判别器从扰动数据中推断敏感属性的能力。
• 同时优化生成器，以保留与目标应用相关的特征，使用特定任务的损失函数。
• 采用紧凑的架构设计噪声生成网络，以实现在移动设备上的高效推理。
• 使用联合损失函数端到端训练框架：对抗损失用于隐私保护，任务特定损失用于数据可用性。
• 将训练好的扰动生成网络应用于新的、未见过的数据样本，以在模型训练或推理前隐藏敏感属性。

实验结果

研究问题

• RQ1 基于GAN的框架能否在不降低目标机器学习任务性能的前提下，有效隐藏表格数据或图像数据中的敏感属性？
• RQ2 所提出的方法在训练过程中未见过的神经网络架构上泛化能力如何？
• RQ3 与传统扰动技术相比，该方法在多大程度上保持了下游任务的数据可用性？
• RQ4 噪声生成网络能否被设计得足够紧凑高效，以实现在移动设备上的部署？
• RQ5 即使攻击者在扰动数据上使用高级推理模型，该框架是否仍能保持隐私保护？

主要发现

• 所提出的基于GAN的方法显著降低了机器学习模型推断敏感属性的能力，优于基线方法。
• 该框架在目标应用（如图像分类）上保持了高性能，即使应用于训练过程中未见过的新神经网络架构。
• 噪声生成网络紧凑高效，可在移动设备上实现实时推理，且不牺牲隐私保护或数据可用性。
• 大量实验表明，该方法在隐私保护和任务可用性方面均优于传统数据扰动技术。
• 该方法在新模型上泛化良好，展现出在多种架构和数据集上一致的隐私保护与可用性保持能力。