[论文解读] Towards Theoretical Understanding of Large Batch Training in Stochastic Gradient Descent

Xiaowu Dai, Yuhua Zhu|arXiv (Cornell University)|Dec 3, 2018

Stochastic Gradient Optimization Techniques参考文献 4被引用 8

一句话总结

本文通过分析有限时间逃逸时间与渐近收敛行为，为Keskar等人（2017）提出的假设——大批次SGD倾向于收敛到尖锐极小值——提供了理论依据。研究证明，无论批次大小如何，SGD最终都会收敛到更平坦的极小值，且当学习率与批次大小之比增大时，收敛速度加快，但泛化性能可能下降。

ABSTRACT

Stochastic gradient descent (SGD) is almost ubiquitously used for training non-convex optimization tasks. Recently, a hypothesis proposed by Keskar et al. [2017] that large batch methods tend to converge to sharp minimizers has received increasing attention. We theoretically justify this hypothesis by providing new properties of SGD in both finite-time and asymptotic regimes. In particular, we give an explicit escaping time of SGD from a local minimum in the finite-time regime and prove that SGD tends to converge to flatter minima in the asymptotic regime (although may take exponential time to converge) regardless of the batch size. We also find that SGD with a larger ratio of learning rate to batch size tends to converge to a flat minimum faster, however, its generalization performance could be worse than the SGD with a smaller ratio of learning rate to batch size. We include numerical experiments to corroborate these theoretical findings.

研究动机与目标

• 为Keskar等人（2017）提出的假设——大批次SGD收敛到尖锐极小值——提供理论依据。
• 分析SGD从局部极小值逃逸的有限时间行为，以理解其收敛动力学。
• 研究SGD在最小值平坦度方面的渐近收敛特性，且不依赖于批次大小。
• 考察学习率与批次大小之比对收敛速度及泛化性能的影响。
• 为SGD超参数与极小值平坦度之间的关系提供理论与实证支持。

提出的方法

• 将小批量SGD建模为带有漂移项与扩散项的随机微分方程（SDE），其项由梯度估计导出。
• 使用欧拉格式将SDE与标准SGD更新规则关联，从而通过扩散过程实现理论分析。
• 应用大偏差理论与Freidlin-Wentzell理论，推导从局部极小值逃逸至最近邻极小值的时间。
• 推导SGD的极限平稳分布，以证明更平坦的极小值在渐近意义上更可能被选中。
• 引入涉及Hessian行列式与特征值的概率表达式，以量化收敛至某一特定极小值的可能性。
• 通过具有多个极小值的合成损失函数进行数值验证，以支持理论预测中关于$M/\gamma$、Hessian矩阵与方差的作用。

实验结果

研究问题

• RQ1 大批次SGD是否确实收敛到尖锐极小值？该现象能否得到理论解释？
• RQ2 SGD从局部极小值逃逸的有限时间行为如何依赖于批次大小与学习率？
• RQ3 在渐近意义上，SGD的收敛行为在最小值平坦度方面如何表现？是否无论批次大小如何，均倾向于更平坦的极小值？
• RQ4 学习率与批次大小之比如何影响收敛至平坦极小值的速度？
• RQ5 在不同$\gamma/M$比例下，收敛至平坦极小值的速度与泛化性能之间存在何种权衡？

主要发现

• SGD从局部极小值逃逸至最近邻极小值具有有限逃逸时间，且该时间随学习率与批次大小之比增大而减小。
• 在渐近状态下，SGD无论批次大小如何，均收敛至更平坦的极小值，尽管收敛可能需要指数时间。
• 学习率与批次大小之比越高，收敛至更平坦极小值的速度越快，但可能导致更差的泛化性能。
• 收敛至某一极小值的概率与该极小值处Hessian矩阵特征值的乘积成正比，而非与特征值之和或极值特征值成正比。
• 梯度估计方差的增加会降低$M/\gamma$比例在偏好更平坦极小值方面的有效性。
• 数值实验表明，随着$M/\gamma$增大，收敛至更平坦极小值的概率增长速度明显快于收敛至更尖锐极小值的概率，尤其当极小值间Hessian矩阵的比值增大时更为显著。