[论文解读] Train faster, generalize better: Stability of stochastic gradient descent

Moritz Hardt, Benjamin Recht+1 more|arXiv (Cornell University)|Sep 3, 2015

Stochastic Gradient Optimization Techniques参考文献 32被引用 347

一句话总结

本文证明，即使没有显式正则化，当训练迭代次数有限时，随机梯度下降（SGD）仍能实现良好的泛化性能。通过在标准光滑性和Lipschitz条件下证明算法稳定性，本文表明仅靠快速训练时间即可确保凸与非凸问题的泛化误差较小，从而解释了为何深度网络尽管容量高，仍能实现良好泛化。

ABSTRACT

We show that parametric models trained by a stochastic gradient method (SGM) with few iterations have vanishing generalization error. We prove our results by arguing that SGM is algorithmically stable in the sense of Bousquet and Elisseeff. Our analysis only employs elementary tools from convex and continuous optimization. We derive stability bounds for both convex and non-convex optimization under standard Lipschitz and smoothness assumptions. Applying our results to the convex case, we provide new insights for why multiple epochs of stochastic gradient methods generalize well in practice. In the non-convex case, we give a new interpretation of common practices in neural networks, and formally show that popular techniques for training large deep models are indeed stability-promoting. Our findings conceptually underscore the importance of reducing training time beyond its obvious benefit.

研究动机与目标

• 解释为何尽管模型容量高且无显式正则化，实践中随机梯度下降（SGD）仍能实现良好泛化。
• 通过算法稳定性形式化训练速度与泛化性能之间的联系。
• 在标准光滑性与Lipschitz假设下，分析SGD在凸与非凸优化中的稳定性。
• 表明如dropout和ℓ₂正则化等常见深度学习实践具有提升稳定性的效果。
• 提供依赖于迭代次数而非仅模型容量的特定算法泛化界。

提出的方法

• 作者采用Bousquet和Elisseeff（2002）提出的统一稳定性作为核心理论框架，分析SGD。
• 通过模仿SGD收敛性证明，推导稳定性界，重点关注步长之和与迭代次数。
• 对于凸目标函数，当步长之和减小时，稳定性提升，泛化误差随之减小。
• 对于非凸目标函数，当迭代次数随n^c增长（c>1且较小）且步长足够小时，稳定性成立。
• 表明dropout和ℓ₂正则化通过降低泛化误差中n的指数，改善稳定性界。
• 该分析适用于单次遍历与多轮次训练，将优化时间与泛化性能关联。

实验结果

研究问题

• RQ1 为何在容量大且无显式正则化的情况下，使用随机梯度下降训练的模型仍能实现良好泛化？
• RQ2 我们能否基于迭代次数与步长，正式界定SGD的泛化误差？
• RQ3 如dropout和权重衰减等常见深度学习实践如何影响SGD的稳定性与泛化性能？
• RQ4 是否存在理论依据解释为何快速训练能带来更好的泛化？
• RQ5 算法稳定性能否用于解释在多轮次训练下深度学习模型的成功？

主要发现

• 当SGD训练O(n)次迭代时，即使无显式正则化，其泛化误差仍被一个随样本量n趋于零的函数所界定。
• 对于凸目标函数，泛化误差随步长之和减小而降低，且训练时间越短，泛化界越优。
• 在非凸情况下，若迭代次数随n^c增长（c>1且较小），且步长足够小，则可保证泛化性能。
• Dropout与ℓ₂正则化可改善稳定性界，其中ℓ₂正则化可使泛化界中的指数任意接近1/2。
• 该结果解释了为何SGD在多轮次训练中仍能实现良好泛化，尽管存在过拟合风险。
• 梯度下降在非凸情况下并非均匀稳定，但SGD因具有‘预热’阶段而增强了稳定性。