[论文解读] On the Intrinsic Privacy of Stochastic Gradient Descent

Stephanie L. Hyland, Shruti Tople|arXiv (Cornell University)|Dec 5, 2019

Privacy-Preserving Technologies in Data参考文献 29被引用 7

一句话总结

本文通过分析SGD固有的随机性，研究了随机梯度下降（SGD）的内在隐私，表明SGD的随机性在MNIST、Adult和Forest Covertype数据集上分别提供了7.8、6.9和2.8的$\epsilon$值，实现了天然的隐私保护。本文提出增强这种内在噪声，以在差分隐私下实现更高的模型效用，使在$\epsilon = 1$时与无噪声模型的效用差距缩小至最多10.07%。

ABSTRACT

Private learning algorithms have been proposed that ensure strong differential-privacy (DP) guarantees, however they often come at a cost to utility. Meanwhile, stochastic gradient descent (SGD) contains intrinsic randomness which has not been leveraged for privacy. In this work, we take the first step towards analysing the intrinsic privacy properties of SGD. Our primary contribution is a large-scale empirical analysis of SGD on convex and non-convex objectives. We evaluate the inherent variability due to the stochasticity in SGD on 3 datasets and calculate the $\epsilon$ values due to the intrinsic noise. First, we show that the variability in model parameters due to the random sampling almost always exceeds that due to changes in the data. We observe that SGD provides intrinsic $\epsilon$ values of 7.8, 6.9, and 2.8 on MNIST, Adult, and Forest Covertype datasets respectively. Next, we propose a method to augment the intrinsic noise of SGD to achieve the desired $\epsilon$. Our augmented SGD outputs models that outperform existing approaches with the same privacy guarantee, closing the gap to noiseless utility between 0.19% and 10.07%. Finally, we show that the existing theoretical bound on the sensitivity of SGD is not tight. By estimating the tightest bound empirically, we achieve near-noiseless performance at $\epsilon = 1$, closing the utility gap to the noiseless model between 3.13% and 100%. Our experiments provide concrete evidence that changing the seed in SGD is likely to have a far greater impact on the model than excluding any given training example. By accounting for this intrinsic randomness, higher utility can be achieved without sacrificing further privacy. With these results, we hope to inspire the research community to further explore and characterise the randomness in SGD, its impact on privacy, and the parallels with generalisation in machine learning.

研究动机与目标

• 理解SGD中的固有随机性是否在不添加外部噪声的情况下有助于差分隐私。
• 量化SGD随机性在不同数据集和目标下提供的内在隐私（以$\epsilon$表示）。
• 提出一种方法，通过增强SGD的内在噪声，在相同的差分隐私保证下实现更高的模型效用。
• 重新评估SGD的理论敏感度边界，表明其在实际中并不紧致。
• 探索SGD的内在随机性、模型泛化能力与隐私之间的关系，以启发未来研究。

提出的方法

• 在三个数据集（MNIST、Adult和Forest Covertype）上，通过经验测量SGD中由于随机采样导致的模型参数变化。
• 通过比较使用和不使用单个数据点训练时的模型参数差异，并利用模型更新的敏感度，计算内在$\epsilon$值。
• 提出一种噪声增强技术，通过缩放SGD的内在随机性，实现目标$\epsilon$值，同时保持模型效用。
• 通过经验估计SGD最紧致的敏感度边界，而非依赖理论上的上界。
• 使用增强的内在噪声训练模型，并在相同的$\epsilon$预算下，将其性能与现有差分隐私方法进行比较。
• 通过在凸和非凸目标上的大规模实验，验证研究结果的稳健性。

实验结果

研究问题

• RQ1 SGD的随机性在标准机器学习数据集上提供的内在$\epsilon$值是多少？
• RQ2 SGD随机采样导致的模型参数变化，与更改单个训练样本引起的参数变化相比如何？
• RQ3 与现有方法相比，增强SGD的内在噪声是否能在相同差分隐私保证下提升模型效用？
• RQ4 SGD的实际理论敏感度边界有多紧致？经验估计能否带来更好的性能？
• RQ5 SGD的内在随机性对模型输出的影响是否强于任何单个训练样本的影响？

主要发现

• SGD的内在随机性在MNIST上产生7.8的$\epsilon$值，在Adult上为6.9，在Forest Covertype上为2.8，表明具有显著的天然隐私保护能力。
• 由于随机采样导致的模型参数变化，超过了因更改任意单个训练样本引起的参数变化，表明更改随机种子的影响大于移除一个数据点。
• 通过增强SGD的内在噪声，所提方法在$\epsilon = 1$时与无噪声模型的效用差距仅为0.19%至10.07%，优于现有差分隐私方法。
• 通过经验估计SGD最紧致的敏感度边界，在$\epsilon = 1$时可实现近乎无噪声的性能，使与无噪声模型的效用差距缩小3.13%至100%。
• SGD的理论敏感度边界在实际中并不紧致，而通过经验估计敏感度可显著提升相同隐私预算下的模型效用。
• 在SGD中更改随机种子对模型输出的影响，大于移除任意单个训练样本的影响，凸显了内在随机性在模型变化中的主导作用。