[论文解读] P3GM: Private High-Dimensional Data Release via Privacy Preserving Phased Generative Model

Shun Takagi, Tsubasa Takahashi+2 more|arXiv (Cornell University)|Jun 22, 2020

Privacy-Preserving Technologies in Data参考文献 36被引用 4

一句话总结

P3GM 提出了一种用于高维数据发布的两阶段差分隐私生成模型，通过在编码阶段使用隐私保护主成分分析（DP-PCA）和期望最大化算法（DP-EM），在解码阶段使用差分隐私随机梯度下降（DP-SGD），实现了优于当前最先进方法的样本质量和下游任务实用性，尤其在高维设置下噪声衰减最小。

ABSTRACT

How can we release a massive volume of sensitive data while mitigating privacy risks? Privacy-preserving data synthesis enables the data holder to outsource analytical tasks to an untrusted third party. The state-of-the-art approach for this problem is to build a generative model under differential privacy, which offers a rigorous privacy guarantee. However, the existing method cannot adequately handle high dimensional data. In particular, when the input dataset contains a large number of features, the existing techniques require injecting a prohibitive amount of noise to satisfy differential privacy, which results in the outsourced data analysis meaningless. To address the above issue, this paper proposes privacy-preserving phased generative model (P3GM), which is a differentially private generative model for releasing such sensitive data. P3GM employs the two-phase learning process to make it robust against the noise, and to increase learning efficiency (e.g., easy to converge). We give theoretical analyses about the learning complexity and privacy loss in P3GM. We further experimentally evaluate our proposed method and demonstrate that P3GM significantly outperforms existing solutions. Compared with the state-of-the-art methods, our generated samples look fewer noises and closer to the original data in terms of data diversity. Besides, in several data mining tasks with synthesized data, our model outperforms the competitors in terms of accuracy.

研究动机与目标

• 解决在保护隐私和保持数据实用性的同时发布高维敏感数据的挑战。
• 克服现有差分隐私生成模型在高维设置下过度注入噪声的局限性。
• 开发一种在严格差分隐私约束下保持数据多样性和保真度的隐私保护生成模型。
• 实现对现实世界高维数据集（如图像和传感器轨迹）的私有数据合成的实际部署。
• 在编码和解码阶段之间合理分配隐私预算，以优化模型性能和鲁棒性。

提出的方法

• 采用两阶段训练流程：首先，通过差分隐私主成分分析（DP-PCA）和差分隐私期望最大化算法（DP-EM）进行隐私保护的编码阶段，以学习低维潜在表示。
• 在 DP-PCA 中使用高斯机制而非威沙特机制，以确保严格的差分隐私保证。
• 在解码阶段应用差分隐私随机梯度下降（DP-SGD），在潜在空间上训练变分自编码器（VAE）。
• 利用 RDP 基于的隐私组合方法，更精确地计算多个机制的隐私损失，从而减少整体的 epsilon 隐私预算。
• 集成一种隐私预算分配策略，动态平衡编码和解码组件之间的噪声注入。
• 使用总变分距离和 AUROC 分数评估合成数据的两两边际分布保真度和分类实用性。

实验结果

研究问题

• RQ1 两阶段差分隐私生成模型能否在最小化噪声注入的同时有效处理高维数据？
• RQ2 与现有的 DP-VAE 和 DP-GM 方法相比，P3GM 在样本质量和下游任务准确率方面表现如何？
• RQ3 为最大化模型实用性，编码和解码阶段之间最优的隐私预算分配是什么？
• RQ4 基于 RDP 的隐私组合是否相比标准组合定理能实现更紧密的隐私会计？
• RQ5 P3GM 在高维数据集中在多大程度上保留了复杂的数据依赖关系和边际分布？

主要发现

• P3GM 生成的合成样本在视觉上更接近真实数据，且噪声更少，尤其在 MNIST 数据集上优于 DP-VAE、DP-GM 和 PrivBayes。
• 在分类任务中，P3GM 显著优于所有竞争方法，在 Adult 数据集上平均 AUROC 达到 0.3867，在 ISOLET 数据集上达到 0.3029，尽管 Ryan 算法在两两边际分布准确率上更优，但 P3GM 在实用性方面表现更佳。
• P3GM 在高维数据集上保持了强劲性能，AUROC 分数在 5 到 100 个维度之间保持稳定，而其他方法则迅速退化。
• 在 Kaggle 信用数据集上，P3GM 的总变分距离为 0.2411，优于 DP-GM（0.1345）和 PrivBayes（0.0082），在高维数据实用性方面表现更优。
• 基于 RDP 的隐私组合方法得到的 epsilon 值小于基线 zCDP 和 MA 方法，实现了更紧密的隐私会计。
• P3GM 的最优隐私预算分配在编码阶段介于 0.1 到 0.3 之间，性能在此范围内达到峰值，表明非均匀分配可提升实用性。