[论文解读] Privacy of Noisy Stochastic Gradient Descent: More Iterations without More Privacy Loss

Jason M. Altschuler, Kunal Talwar|arXiv (Cornell University)|May 27, 2022

Privacy-Preserving Technologies in Data被引用 9

一句话总结

该论文通过证明噪声随机梯度下降（Noisy-SGD）在迭代次数增加时不会导致隐私损失无界增长，而是经过短暂的预热期后隐私损失趋于饱和，从而解决了微分隐私领域长期存在的一个开放性问题。作者利用新颖的技术——迭代隐私放大（Privacy Amplification by Iteration）与采样隐私放大（Privacy Amplification by Sampling）——建立了紧致的隐私界，表明训练时间延长不会在初始阶段之后进一步损害隐私，这与以往分析中错误预测的隐私损失无界增长形成鲜明对比。

ABSTRACT

A central issue in machine learning is how to train models on sensitive user data. Industry has widely adopted a simple algorithm: Stochastic Gradient Descent with noise (a.k.a. Stochastic Gradient Langevin Dynamics). However, foundational theoretical questions about this algorithm's privacy loss remain open -- even in the seemingly simple setting of smooth convex losses over a bounded domain. Our main result resolves these questions: for a large range of parameters, we characterize the differential privacy up to a constant factor. This result reveals that all previous analyses for this setting have the wrong qualitative behavior. Specifically, while previous privacy analyses increase ad infinitum in the number of iterations, we show that after a small burn-in period, running SGD longer leaks no further privacy. Our analysis departs from previous approaches based on fast mixing, instead using techniques based on optimal transport (namely, Privacy Amplification by Iteration) and the Sampled Gaussian Mechanism (namely, Privacy Amplification by Sampling). Our techniques readily extend to other settings, e.g., strongly convex losses, non-uniform stepsizes, arbitrary batch sizes, and random or cyclic choice of batches.

研究动机与目标

• 解决 Noisy-SGD 的隐私损失是否随迭代次数无限增长这一根本性开放问题。
• 在有界域上的光滑凸设置下，对 Noisy-SGD 的微分隐私参数提供紧致表征。
• 挑战并纠正以往分析中错误预测迭代次数增加导致隐私损失无界退化的结论。
• 构建一个严谨的理论框架，适用于非理想化假设，包括非均匀学习率、任意小批量大小以及循环更新。

提出的方法

• 作者提出一种基于迭代隐私放大的新隐私分析框架，利用最优传输技术来限制相邻数据集下 Noisy-SGD 轨迹之间的差异。
• 结合采样隐私放大技术，推导出在迭代次数 T 增加时仍保持有界的更紧致的 Rényi 微分隐私（RDP）界。
• 该方法通过将噪声分解为两部分（早期迭代与后期迭代）实现，从而获得不随 T 增大而增长的非平凡界。
• 一项关键技术突破是采用随时间变化的噪声分布参数化方式，以建模算法轨迹随时间的收缩特性。
• 通过精细应用迭代隐私放大原理，将分析扩展至强凸损失、非均匀学习率以及循环小批量更新的情形。
• 通过在噪声分解上进行三分查找，并对关键迭代次数 T̃ 进行闭式优化，实现了隐私界的有效数值计算。

实验结果

研究问题

• RQ1 随着迭代次数 T 增加，Noisy-SGD 的隐私损失是否无界增长？
• RQ2 能否为 Noisy-SGD 推导出一个紧致且非平凡的隐私界，使其在初始预热期后保持恒定？
• RQ3 基于组合与快速混合假设的现有隐私分析是否在预测隐私随时间退化方面存在定性错误？
• RQ4 迭代隐私放大技术能否有效应用于 Noisy-SGD 中的非独立同分布与非平稳更新序列？
• RQ5 能否推导出对学习率、小批量大小和更新顺序（如循环与随机）变化具有鲁棒性的隐私界？

主要发现

• Noisy-SGD 的隐私损失不会随迭代次数无限增长；相反，其在短暂的预热期后趋于饱和，这与以往预测隐私损失无界增长的分析结果相矛盾。
• 在有界域上的光滑凸损失下，Rényi 微分隐私（RDP）参数 ε 的上界为与 T 无关的常数，仅相差一个常数因子。
• 所提出的界是紧致的，与实际观察到的行为一致：更长的训练不会导致隐私恶化。
• 分析表明，基于组合与快速混合假设的以往方法在预测隐私退化方面存在定性错误。
• 该界在多种场景下均具鲁棒性：适用于强凸损失、非均匀学习率、任意小批量大小，以及随机与循环小批量选择。
• 隐私界的数值计算高效，可实现最小隐私开销的实际部署，即使在 T 较大时亦然。