[论文解读] Stability of SGD: Tightness Analysis and Improved Bounds

Yikai Zhang, Wenjia Zhang+4 more|arXiv (Cornell University)|Feb 10, 2021

Stochastic Gradient Optimization Techniques参考文献 36被引用 4

一句话总结

本文对随机梯度下降（SGD）中的算法稳定性提供了紧密分析，表明现有凸损失和强凸损失的界是紧致的，但在非凸设置下可进一步改进。论文提出了凸正则化损失的新型数据相关稳定性界，并在非凸场景中获得了更紧的界，显著提升了在现实数据分布下深度学习模型的泛化保证。

ABSTRACT

Stochastic Gradient Descent (SGD) based methods have been widely used for training large-scale machine learning models that also generalize well in practice. Several explanations have been offered for this generalization performance, a prominent one being algorithmic stability [18]. However, there are no known examples of smooth loss functions for which the analysis can be shown to be tight. Furthermore, apart from the properties of the loss function, data distribution has also been shown to be an important factor in generalization performance. This raises the question: is the stability analysis of [18] tight for smooth functions, and if not, for what kind of loss functions and data distributions can the stability analysis be improved? In this paper we first settle open questions regarding tightness of bounds in the data-independent setting: we show that for general datasets, the existing analysis for convex and strongly-convex loss functions is tight, but it can be improved for non-convex loss functions. Next, we give a novel and improved data-dependent bounds: we show stability upper bounds for a large class of convex regularized loss functions, with negligible regularization parameters, and improve existing data-dependent bounds in the non-convex setting. We hope that our results will initiate further efforts to better understand the data-dependent setting under non-convex loss functions, leading to an improved understanding of the generalization abilities of deep networks.

研究动机与目标

• 确定现有SGD在光滑、凸和强凸损失函数下的算法稳定性界是否紧致。
• 探究是否可在现有数据无关分析的基础上，进一步改进数据相关稳定性界。
• 在现实数据分布下，为非凸和正则化损失函数推导更紧、更实用的稳定性界。
• 通过改进的稳定性分析，为深度神经网络的泛化性能提供理论洞见。

提出的方法

• 提出一种基于孪生数据集下参数轨迹差异的新型数据相关稳定性分析框架。
• 引入一种递归界界技术，利用迭代区间几何级数增长来控制SGD中的误差传播。
• 对在仅相差一个样本的数据集上训练的孪生模型之间参数差Δt的期望范数进行精细化分析。
• 利用损失函数的光滑性、Lipschitz连续性以及Hessian-Lipschitz条件，推导出更紧的稳定性界。
• 采用步长规则如αt = b/t 和 αt = a/(βt)，分析收敛性与稳定性的权衡。
• 通过T和n中的对数项与幂律项，结合数据相关常数ζ，推导出平均稳定性εstab的上界。

实验结果

研究问题

• RQ1 现有针对凸损失和强凸损失函数的数据无关稳定性界是否紧致？
• RQ2 非凸损失函数的稳定性界能否改进？若能，在何种条件下可实现？
• RQ3 数据相关因素（如数据分布和正则化）如何影响SGD的稳定性？
• RQ4 能否为正则化凸损失和非凸损失推导出更紧、非渐近的界？

主要发现

• 对于凸损失和强凸损失函数，[18]中现有的稳定性界是紧致的，如通过阶为Ω(1/n)和Ω(T/n)的匹配下界所示。
• 对于采用常数步长αt = a/β的非凸损失，论文建立了Ω(T^a / n^{1+a})的下界，表明在无额外假设下，现有界无法进一步改进。
• 论文为采用步长αt = b/t的非凸损失推导出改进的数据相关上界，阶为O(T^{ζb} / n^{1+ζb})，比先前结果更紧。
• 对于正则化程度可忽略的凸正则化损失，论文提供了阶为O(1/n)的稳定性界，优于[18]在常数步长下的T相关界。
• 分析表明，捕捉数据结构的数据相关常数ζ在非凸设置下可显著减小泛化差距。
• 理论结果通过递归界界技术和参数差异的概率分析得到支持，显式常数通过对数和指数项推导得出。