[论文解读] Scalable Differentially Private Generative Student Model via PATE.

Yunhui Long, Suxin Lin+3 more|arXiv (Cornell University)|Jun 21, 2019

Privacy-Preserving Technologies in Data参考文献 26被引用 18

一句话总结

本文提出 G-PATE，一种可扩展的差分隐私生成模型，通过使用一组私有的教师判别器训练学生生成器，仅在发布的生成器上确保强隐私保障。通过应用私有梯度聚合来蒸馏教师模型的知识，G-PATE 在图像和表格数据集上均实现了最先进性能，同时保持了高数据效用。

ABSTRACT

Recent rapid development of machine learning is largely due to algorithmic breakthroughs, computation resource development, and especially the access to a large amount of training data. However, though data sharing has the great potential of improving machine learning models and enabling new applications, there have been increasing concerns about the privacy implications of data collection. In this work, we present a novel approach for training differentially private data generator G-PATE. The generator can be used to produce synthetic datasets with strong privacy guarantee while preserving high data utility. Our approach leverages generative adversarial nets (GAN) to generate data and protect data privacy based on the Private Aggregation of Teacher Ensembles (PATE) framework. Our approach improves the use of privacy budget by only ensuring differential privacy for the generator, which is the part of the model that actually needs to be published for private data generation. To achieve this, we connect a student generator with an ensemble of teacher discriminators. We also propose a private gradient aggregation mechanism to ensure differential privacy on all the information that flows from the teacher discriminators to the student generator. We empirically show that the G-PATE significantly outperforms prior work on both image and non-image datasets.

研究动机与目标

• 应对由于大规模数据收集与共享而日益增长的机器学习隐私担忧。
• 开发一种方法，生成具有强隐私保障的合成数据集，同时保持高数据效用。
• 通过仅对发布的生成器应用差分隐私，而非整个模型，减少不必要的隐私预算消耗。
• 利用 GAN 和 PATE 框架，实现私有生成模型的可扩展且实用的部署。
• 在先前工作的基础上，将隐私保护重点放在生成器上，因为它是唯一用于数据生成而发布的组件。

提出的方法

• 在真实数据上训练一组教师判别器，每个教师判别器均使用差分隐私训练以保护训练数据。
• 通过知识蒸馏，利用教师判别器指导学生生成器，使生成器学习生成合成数据。
• 应用私有梯度聚合机制，确保从教师到学生生成器传递的梯度满足差分隐私。
• 利用生成对抗网络（GANs）训练学生生成器，以生成逼真的合成样本。
• 通过仅在教师到学生的信息流上强制执行差分隐私，将隐私保护与生成器的训练过程解耦。
• 通过仅对最终公开发布的生成器模型应用差分隐私，优化隐私预算的使用。

实验结果

研究问题

• RQ1 能否在保持图像和非图像数据集高数据效用的前提下，训练出具有强隐私保障的生成模型？
• RQ2 如何仅对发布的生成器高效应用差分隐私，以最小化不必要的隐私成本？
• RQ3 私有梯度聚合在基于 GAN 的数据生成中在隐私-效用权衡方面能提升多少？
• RQ4 PATE 框架能否被有效适配，用于通过学生-生成器与教师-判别器架构训练私有生成模型？
• RQ5 与先前的私有生成模型相比，G-PATE 在性能和隐私效率方面表现如何？

主要发现

• G-PATE 在图像和非图像数据集上的数据效用和隐私保障方面显著优于先前工作。
• 通过有效蒸馏来自私有教师判别器的知识，该模型实现了高质量的合成数据生成。
• 私有梯度聚合确保了从教师到学生生成器的所有信息流动均满足差分隐私。
• 通过仅对生成器应用差分隐私，G-PATE 优化了隐私预算的使用，避免了对非公开组件的过度保护。
• 该方法在多种数据类型（包括图像和表格数据）上表现出可扩展性和强泛化能力。
• 实证结果证实，G-PATE 在提供正式差分隐私保障的同时，保持了高数据效用。