[论文解读] Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds

Yingxue Zhou, Xiangyi Chen+3 more|arXiv (Cornell University)|Jun 24, 2020

Privacy-Preserving Technologies in Data参考文献 37被引用 8

一句话总结

本文提出了用于随机非凸优化的差分隐私自适应优化算法——DP RMSProp 和 DP Adam，通过利用差分隐私的泛化特性，实现了更紧致的总体梯度界 $\tilde{O}(\sqrt[4]{p}/\sqrt{n})$，从而规避了由一致收敛性带来的次优界 $O(\sqrt{p}/\sqrt{n})$。该方法通过隐私诱导的梯度近似，在迭代过程中控制泛化误差，实证结果表明其在深度学习任务中优于 DP SGD。

ABSTRACT

We study differentially private (DP) algorithms for stochastic non-convex optimization. In this problem, the goal is to minimize the population loss over a $p$-dimensional space given $n$ i.i.d. samples drawn from a distribution. We improve upon the population gradient bound of ${\sqrt{p}}/{\sqrt{n}}$ from prior work and obtain a sharper rate of $\sqrt[4]{p}/\sqrt{n}$. We obtain this rate by providing the first analyses on a collection of private gradient-based methods, including adaptive algorithms DP RMSProp and DP Adam. Our proof technique leverages the connection between differential privacy and adaptive data analysis to bound gradient estimation error at every iterate, which circumvents the worse generalization bound from the standard uniform convergence argument. Finally, we evaluate the proposed algorithms on two popular deep learning tasks and demonstrate the empirical advantages of DP adaptive gradient methods over standard DP SGD.

研究动机与目标

• 在差分隐私随机非凸优化中，提升泛化界，超越由一致收敛性带来的 $O(\sqrt{p}/\sqrt{n})$ 速率。
• 将差分隐私优化扩展至自适应梯度方法，如 DP RMSProp 和 DP Adam，这些方法在深度学习中被广泛使用。
• 通过利用差分隐私的泛化特性而非依赖一致收敛性，建立更紧致的总体风险界。
• 为 DP 自适应梯度方法的变体提供首个经验风险分析。
• 在真实深度学习任务中，通过实证验证 DP 自适应方法相较于标准 DP SGD 的性能表现。

提出的方法

• 通过在梯度中注入噪声，提出 RMSProp 和 Adam 的 DP 变体，同时保持差分隐私性。
• 采用一种新颖的证明技术，将差分隐私与自适应数据分析联系起来，以界定每次迭代中经验梯度与总体梯度之间的差距。
• 应用隐私放大和浓度不等式，以在 DP 约束下控制梯度估计误差。
• 利用隐私诱导的泛化性，推导出总体梯度 $\ell_2$-范数的高概率界。
• 结合噪声缩放、学习率调度和自适应动量估计，以在隐私约束下稳定训练过程。
• 通过图像分类等深度学习任务的实验，验证理论边界的有效性。

实验结果

研究问题

• RQ1 在非凸优化中，像 DP Adam 和 DP RMSProp 这样的差分隐私自适应梯度方法是否能实现优于标准 DP SGD 的泛化界？
• RQ2 标准的一致收敛性论证是否是非凸 DP 优化中实现更紧致总体风险界的主要瓶颈？
• RQ3 能否利用差分隐私本身的泛化特性，推导出优于 $O(\sqrt{p}/\sqrt{n})$ 的更紧致梯度范数界？
• RQ4 在自适应 DP 优化中，隐私预算、模型维度与泛化误差之间的最优权衡是什么？
• RQ5 在真实世界深度学习基准上，DP 自适应方法是否在实践中优于 DP SGD？

主要发现

• 本文实现了更紧致的总体梯度界 $\tilde{O}(\sqrt[4]{p}/\sqrt{n})$，优于由一致收敛性带来的先前 $O(\sqrt{p}/\sqrt{n})$ 界。
• 该改进是通过直接分析差分隐私的泛化特性实现的，避免了最坏情况的一致收敛性论证。
• 作者首次为 RMSProp 和 Adam 的 DP 变体提供了经验风险的理论分析，表明其收敛至较小的经验梯度范数。
• 建立了下界，证明由一致收敛性带来的 $\sqrt{p}/\sqrt{n}$ 速率是紧致的，从而证明绕过该论证是实现改进的必要条件。
• 在深度学习任务上的实证评估表明，DP Adam 和 DP RMSProp 在相同隐私预算下，模型准确率优于标准 DP SGD。
• 理论与实证结果共同表明，自适应 DP 方法在非凸设置中可实现更优的效用-隐私权衡。