[论文解读] On the Convergence of Step Decay Step-Size for Stochastic Optimization

Xiaoyu Wang, Sindri Magnússon+1 more|arXiv (Cornell University)|Feb 18, 2021

Stochastic Gradient Optimization Techniques参考文献 38被引用 4

一句话总结

该论文首次为非凸、凸及强凸设定下的随机梯度下降（SGD）提供了步长衰减步长策略的非渐近收敛保证。其证明了非凸光滑问题的收敛速率为 $Ó(\ln T/\sqrt{T})$，一般凸问题的收敛速率为 $Ó(\ln T/\sqrt{T})$，平滑强凸问题的收敛速率为 $Ó(\ln T/T)$，并证明了后者的紧致性。

ABSTRACT

The convergence of stochastic gradient descent is highly dependent on the step-size, especially on non-convex problems such as neural network training. Step decay step-size schedules (constant and then cut) are widely used in practice because of their excellent convergence and generalization qualities, but their theoretical properties are not yet well understood. We provide the convergence results for step decay in the non-convex regime, ensuring that the gradient norm vanishes at an $\mathcal{O}(\ln T/\sqrt{T})$ rate. We also provide the convergence guarantees for general (possibly non-smooth) convex problems, ensuring an $\mathcal{O}(\ln T/\sqrt{T})$ convergence rate. Finally, in the strongly convex case, we establish an $\mathcal{O}(\ln T/T)$ rate for smooth problems, which we also prove to be tight, and an $\mathcal{O}(\ln^2 T /T)$ rate without the smoothness assumption. We illustrate the practical efficiency of the step decay step-size in several large scale deep neural network training tasks.

研究动机与目标

• 为填补对广泛应用于深度学习但缺乏严格收敛分析的步长衰减步长策略的理论空白。
• 为非凸、一般凸及强凸设定下SGD采用步长衰减策略建立非渐近收敛速率。
• 通过证明步长衰减策略在多项式衰减和指数衰减步长策略上的更紧边界，改进现有收敛速率。
• 在大规模深度学习实验验证的基础上，提供一种在实践中选择步长衰减参数的系统性方法。

提出的方法

• 在非凸与光滑设定下，提出一种非均匀采样规则 $P_t \propto 1/\eta_t$，用于选择最终迭代点，以提升收敛保证。
• 采用通用衰减因子 $\alpha > 1$ 分析SGD的步长衰减策略，不局限于先前工作中使用的 $\alpha = 2$。
• 通过使用鞅差序列和集中不等式，对期望梯度范数和次优间隙进行有界分析，推导收敛速率。
• 将分析应用于三类问题：非凸（光滑）、一般凸（可能非光滑）和强凸（光滑与非光滑）。
• 采用多阶段分析方法，其中步长在各区间内保持恒定，然后在预设里程碑处按因子 $\alpha$ 降低。
• 通过在CIFAR-10、CIFAR-100和逻辑回归上的大量实验验证理论结果，调优超参数包括 $\eta_0$、$\alpha$ 和衰减里程碑。

实验结果

研究问题

• RQ1 在非凸设定下，SGD采用步长衰减步长策略的非渐近收敛速率是多少？
• RQ2 在一般凸问题中，步长衰减能否优于 $1/t$ 或 $1/\sqrt{t}$ 等多项式衰减调度的收敛速率？
• RQ3 在强凸情形下，步长衰减的最优收敛速率是多少？该速率是否紧致？
• RQ4 衰减因子 $\alpha$ 的选择在实践中如何影响收敛性和泛化性能？
• RQ5 在非凸设定下，非均匀采样规则能否提升步长衰减SGD的收敛性能？

主要发现

• 对于非凸光滑问题，论文建立了梯度范数的 $\mathcal{O}(\ln T/\sqrt{T})$ 收敛速率，接近最优。
• 对于一般凸问题，步长衰减方法在最后迭代点实现了 $\mathcal{O}(\ln T/\sqrt{T})$ 的收敛速率。
• 在平滑强凸情形下，收敛速率为 $\mathcal{O}(\ln T/T)$，且论文证明了该速率的紧致性。
• 对于非光滑强凸问题，收敛速率为 $\mathcal{O}(\ln^2 T/T)$，这是该设定下步长衰减的首个此类边界。
• 在CIFAR-10和CIFAR-100上的实验结果表明，当 $\alpha = 6$ 时，步长衰减策略的测试损失更低、准确率更高，优于常数步长、$1/t$、$1/\sqrt{t}$ 和指数衰减策略。
• 实验发现最优衰减因子为 $\alpha = 6$，其在阶段长度与性能之间达到良好平衡；$\alpha \in [4,6]$ 的表现优于 $\alpha \in [7,12]$，归因于更好的泛化性和稳定性。