[论文解读] Nesterov's method with decreasing learning rate leads to accelerated stochastic gradient descent

Maxime Laborde, Adam M. Oberman|arXiv (Cornell University)|Aug 21, 2019

Stochastic Gradient Optimization Techniques参考文献 29被引用 6

一句话总结

本文提出了一种新颖的随机梯度下降（SGD）算法，该算法基于Nesterov方法的连续时间常微分方程（ODE）公式化，采用递减学习率以实现加速收敛。通过使用递减步长对耦合ODE系统进行离散化，作者获得了一种算法，在强凸情况下实现了最后一个迭代点的最优$ olimits\mathcal{O}(1/k)$收敛速率，在凸情况下实现了$ olimits\mathcal{O}(k^{-3/4})$的收敛速率，且与先前方法相比，收敛速率常数得到改进。

ABSTRACT

We present a coupled system of ODEs which, when discretized with a constant time step/learning rate, recovers Nesterov's accelerated gradient descent algorithm. The same ODEs, when discretized with a decreasing learning rate, leads to novel stochastic gradient descent (SGD) algorithms, one in the convex and a second in the strongly convex case. In the strongly convex case, we obtain an algorithm superficially similar to momentum SGD, but with additional terms. In the convex case, we obtain an algorithm with a novel order $k^{3/4}$ learning rate. We prove, extending the Lyapunov function approach from the full gradient case to the stochastic case, that the algorithms converge at the optimal rate for the last iterate of SGD, with rate constants which are better than previously available.

研究动机与目标

• 开发一种基于连续时间ODE框架的新SGD算法，以实现加速收敛。
• 将确定性设置下的李雅普诺夫函数方法扩展至随机设置，以证明收敛速率。
• 改进SGD最后一个迭代点的收敛界中的速率常数，特别是在强凸情况下。
• 推导出适用于凸情况的新型学习率调度方案，其阶为$k^{-3/4}$，并实现最优收敛。
• 证明在基于ODE的系统中使用递减学习率可产生具有更优常数的加速SGD，优于现有方法。

提出的方法

• 推导出一个由两个一阶ODE组成的耦合系统，当使用恒定学习率进行离散化时，可恢复Nesterov的加速梯度下降方法。
• 在相同的ODE系统中引入递减学习率调度，以生成一种新的随机梯度下降算法。
• 采用李雅普诺夫函数方法证明收敛性，将确定性分析扩展至具有有界方差的随机情形。
• 定义一个李雅普诺夫函数$E_k^C$，将函数值与动量项结合，确保在算法下其期望单调递减。
• 通过求和李雅普诺夫函数的差值并利用积分比较法界定所得级数，建立收敛界。
• 提出凸情况下的学习率$h_k = c / (k+1)^{3/4}$，并分析其通过$t_k = \sum_{i=0}^k h_i$对收敛性的影响。

实验结果

研究问题

• RQ1 Nesterov方法的连续时间ODE公式化能否被适配至具有递减学习率的随机设置，以获得加速SGD？
• RQ2 所提出的算法在强凸情况下是否能实现最后一个迭代点的最优$ olimits\mathcal{O}(1/k)$收敛速率，并具有改进的速率常数？
• RQ3 能否推导并证明一种阶为$k^{-3/4}$的新学习率调度方案，使其在凸情况下实现最优收敛？
• RQ4 李雅普诺夫函数方法如何扩展至具有有界方差梯度的随机情形？
• RQ5 在强凸情况下，若从速率常数中去除对光滑性常数$L$的依赖，会产生何种影响？

主要发现

• 在强凸情况下，该算法实现了最后一个迭代点的最优$ olimits\mathcal{O}(1/k)$收敛速率，且速率常数不再依赖于光滑性参数$L$。
• 在凸情况下，该算法通过使用学习率$h_k = c / (k+1)^{3/4}$实现了$ olimits\mathcal{O}(k^{-3/4})$的收敛速率，该速率在给定假设下为最优。
• 期望函数值差距满足$\mathbb{E}[f(x_k) - f^*] \leq \frac{\frac{1}{16c^2}E_0^C + c^2\sigma^2(1 + \log k)}{\sqrt{k}}$，证明了$k^{-3/4}$速率且常数更优。
• 李雅普诺夫函数$E_k^C$在算法下其期望值单调递减，且其和可通过积分比较法有界，从而支持收敛性证明。
• 在强凸情况下，通过消除对$L$的依赖，速率常数得到显著改进，这是优于先前方法的重要优势。
• 该分析将李雅普诺夫函数方法扩展至具有有界方差的随机情形，为加速SGD的收敛性分析提供了稳健的框架。