[论文解读] Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses

Raef Bassily, Vitaly Feldman+2 more|arXiv (Cornell University)|Jun 12, 2020

Stochastic Gradient Optimization Techniques参考文献 35被引用 19

一句话总结

本文为非光滑凸损失上的随机次梯度下降（SGD）建立了紧致的统一稳定性界，证明了多轮SGD可实现与维度无关的一般化误差界。该研究首次为差分隐私保护下的非光滑随机凸优化提供了最优的过剩风险保证，且所提算法较以往工作更为简洁高效。

ABSTRACT

Uniform stability is a notion of algorithmic stability that bounds the worst case change in the model output by the algorithm when a single data point in the dataset is replaced. An influential work of Hardt et al. (2016) provides strong upper bounds on the uniform stability of the stochastic gradient descent (SGD) algorithm on sufficiently smooth convex losses. These results led to important progress in understanding of the generalization properties of SGD and several applications to differentially private convex optimization for smooth losses. Our work is the first to address uniform stability of SGD on {\em nonsmooth} convex losses. Specifically, we provide sharp upper and lower bounds for several forms of SGD and full-batch GD on arbitrary Lipschitz nonsmooth convex losses. Our lower bounds show that, in the nonsmooth case, (S)GD can be inherently less stable than in the smooth case. On the other hand, our upper bounds show that (S)GD is sufficiently stable for deriving new and useful bounds on generalization error. Most notably, we obtain the first dimension-independent generalization bounds for multi-pass SGD in the nonsmooth case. In addition, our bounds allow us to derive a new algorithm for differentially private nonsmooth stochastic convex optimization with optimal excess population risk. Our algorithm is simpler and more efficient than the best known algorithm for the nonsmooth case Feldman et al. (2020).

研究动机与目标

• 解决尽管在光滑情况下已有广泛研究，但随机次梯度下降（SGD）在非光滑凸损失上的统一稳定性分析长期缺乏的问题。
• 为各种SGD变体及全批量梯度下降（GD）在任意Lipschitz连续的非光滑凸损失上，提供统一稳定性界的紧致上界与下界。
• 在非光滑设置下，推导多轮SGD的新一般化误差界，特别是与维度无关的界。
• 设计一种新的差分隐私算法用于非光滑随机凸优化，实现最优的过剩种群风险，并提升计算效率。
• 建立非光滑情形下统一稳定性与差分隐私之间的联系，从而支持新型隐私保护优化方法的开发。

提出的方法

• 通过界定单个数据点被替换时损失的最坏情况变化，分析SGD与全批量GD在非光滑凸损失上的统一稳定性。
• 提出一种新颖的下界构造方法，揭示非光滑情形下固有的不稳定性，表明SGD在非光滑情形下可能比光滑情形更不稳定。
• 使用统一稳定性（UAS）作为关键工具，将过剩种群风险分解为优化误差与一般化误差。
• 基于噪声注入与步长缩减，设计一种新型差分隐私算法NSGD，利用UAS界确保隐私性与最优性。
• 应用UAS框架，推导多轮SGD的高概率与期望形式的过剩风险界，涵盖有放回采样与固定排列等变体。
• 利用稳定性框架证明：在差分隐私设置下，运行SGD $ O(n^2) $ 步可实现最优过剩风险，尽管计算成本较高。

实验结果

研究问题

• RQ1 随机次梯度下降在非光滑凸损失上的紧致统一稳定性界是什么？
• RQ2 非光滑情形下SGD的稳定性与光滑情形相比如何？其内在限制是什么？
• RQ3 统一稳定性能否用于推导非光滑设置下多轮SGD的与维度无关的一般化界？
• RQ4 稳定性框架能否用于设计一种非光滑随机凸优化的差分隐私算法，实现最优过剩风险？
• RQ5 在差分隐私保护的非光滑优化中，是否必须运行 $ O(n^2) $ 步才能实现最优过剩风险，还是可以进一步优化？

主要发现

• 本文首次为非光滑凸损失上的SGD建立了紧致的上界与下界，表明其稳定性在本质上弱于光滑情形。
• 在非光滑凸损失上，多轮SGD实现了与维度无关的一般化误差界，过剩风险有界于 $ Oig(rac{1}{ ilde{n}}ig) $，其中 $ ilde{n} $ 为有效样本量。
• 所提出的NSGD算法在差分隐私保护的非光滑随机凸优化中实现了最优的过剩种群风险，相较于以往工作在简洁性与效率上均有提升。
• NSGD算法的过剩种群风险以高概率有界于 $ RL imes Oig(\text{max}\big(\frac{\text{log}(n)\text{log}(n/ heta)}{\tilde{n}}, \frac{\text{log}(1/ heta)}{\tilde{n}}\big)\big) $，且各项与维度无关。
• 分析表明，$ O(n^2) $ 步在差分隐私设置下足以实现最优过剩风险，且在稳定性与隐私约束下可能为必要。
• 结果表明，尽管缺乏光滑性带来的非扩张性，统一稳定性在非光滑情形下依然是通用化与隐私保护的强大工具。