[论文解读] On the Privacy Properties of GAN-generated Samples

Zinan Lin, Vyas Sekar+1 more|arXiv (Cornell University)|Jun 3, 2022

Adversarial Robustness in Machine Learning参考文献 14被引用 5

一句话总结

本文表明，由于其泛化特性，原始 GAN 生成的样本本质上满足弱差分隐私和对成员推断攻击的鲁棒性。在温和假设下，生成样本可实现 $(\epsilon, \delta)$-差分隐私，其中 $\delta = O(n/m)$，且成员推断攻击成功率（以 AUC 衡量）以 $O(m^{-1/4})$ 的速率衰减，训练集越大，性能越优。

ABSTRACT

The privacy implications of generative adversarial networks (GANs) are a topic of great interest, leading to several recent algorithms for training GANs with privacy guarantees. By drawing connections to the generalization properties of GANs, we prove that under some assumptions, GAN-generated samples inherently satisfy some (weak) privacy guarantees. First, we show that if a GAN is trained on m samples and used to generate n samples, the generated samples are (epsilon, delta)-differentially-private for (epsilon, delta) pairs where delta scales as O(n/m). We show that under some special conditions, this upper bound is tight. Next, we study the robustness of GAN-generated samples to membership inference attacks. We model membership inference as a hypothesis test in which the adversary must determine whether a given sample was drawn from the training dataset or from the underlying data distribution. We show that this adversary can achieve an area under the ROC curve that scales no better than O(m^{-1/4}).

研究动机与目标

• 探究标准 GAN 生成的样本是否在无需专门训练技术的情况下天然提供隐私保障。
• 分析在 $m$ 个数据点上训练的标准 GAN 所生成 $n$ 个样本的差分隐私特性。
• 在最坏情况攻击者假设下，评估 GAN 生成样本对成员推断攻击的鲁棒性。
• 基于泛化理论，建立差分隐私与成员推断攻击隐私风险的理论边界。
• 探索从 GAN 释放合成数据作为释放模型参数的隐私保护替代方案的可行性。

提出的方法

• 理论分析通过积分概率度量和 KL 散度，将 GAN 的泛化边界与隐私保障联系起来。
• 通过将真实分布与生成分布之间的 TV 距离与生成器的泛化误差关联，推导出差分隐私边界。
• 应用 Pinsker 不等式，利用 KL 散度上界总变差距离，将其与隐私参数关联。
• 将成员推断建模为假设检验，并利用几何与集中度论证，推导出 AUC 的上界。
• 采用先前研究中关于生成器和判别器函数类的假设，以确保理论可处理性。
• 采用几何证明方法，为任意生成模型在成员推断攻击下的 ROC 区域推导出紧致边界。

实验结果

研究问题

• RQ1 在未使用差分隐私训练的情况下，标准 GAN 生成的样本是否仍对生成样本提供内在的差分隐私？
• RQ2 GAN 生成样本的隐私保障如何随训练集大小 $m$ 和生成样本数量 $n$ 变化？
• RQ3 即使攻击者对生成器拥有无限访问权限，GAN 生成样本对成员推断攻击的鲁棒性如何？
• RQ4 成员推断攻击的成功率能否独立于攻击策略进行上界控制？若能，其衰减速率如何随 $m$ 变化？
• RQ5 GAN 生成样本的隐私保障是否足够强以用于实际部署，还是需要额外技术如 DP-SGD？

主要发现

• GAN 生成样本满足 $(\epsilon, \delta)$-差分隐私，其中 $\delta = O(n/m)$，表明随着生成样本增多，隐私保护能力下降。
• 当 $n=1$ 时，$O(n/m)$ 对 $\delta$ 的速率是紧的，表明在标准假设下该边界无法进一步改进。
• 对于成员推断攻击，AUC 的上界为 $O(m^{-1/4})$，意味着随着训练数据增长，攻击成功率逐渐降低。
• 即使在攻击者对生成器拥有无限访问权限的最坏情况下，对成员推断攻击的鲁棒性依然成立。
• 理论边界依赖于对生成器和判别器函数类的假设，这些假设可能不适用于所有 GAN 架构。
• 结果表明，尽管 GAN 提供内在隐私保护，但其保护强度仍不足以在无额外隐私保护训练方法的情况下用于实际部署。