[论文解读] On the convergence of the Stochastic Heavy Ball Method.

Othmane Sebbouh, Robert M. Gower+1 more|arXiv (Cornell University)|Jun 14, 2020

Stochastic Gradient Optimization Techniques参考文献 36被引用 17

一句话总结

本文在仅假设光滑性和凸性的条件下，建立了随机加速梯度法（SHB）几乎必然收敛至极小值点的理论结果，证明了其在过参数化和确定性设置下，函数值收敛速度优于SGD。通过引入依赖于迭代次数的步长和动量参数，消除了对最终迭代平均的依赖，实现了无需有界梯度假设的更优收敛速率。

ABSTRACT

We provide a comprehensive analysis of the Stochastic Heavy Ball (SHB) method (otherwise known as the momentum method), including a convergence of the last iterate of SHB, establishing a faster rate of convergence than existing bounds on the last iterate of Stochastic Gradient Descent (SGD) in the convex setting. Our analysis shows that unlike SGD, no final iterate averaging is necessary with the SHB method. We detail new iteration dependent step sizes (learning rates) and momentum parameters for the SHB that result in this fast convergence. Moreover, assuming only smoothness and convexity, we prove that the iterates of SHB converge extit{almost surely} to a minimizer, and that the convergence of the function values of (S)HB is asymptotically faster than that of (S)GD in the overparametrized and in the deterministic settings. Our analysis is general, in that it includes all forms of mini-batching and non-uniform samplings as a special case, using an arbitrary sampling framework. Furthermore, our analysis does not rely on the bounded gradient assumptions. Instead, it only relies on smoothness, which is an assumption that can be more readily verified. Finally, we present extensive numerical experiments that show that our theoretically motivated parameter settings give a statistically significant faster convergence across a diverse collection of datasets.

研究动机与目标

• 在仅假设光滑性和凸性的最小条件下，建立随机加速梯度法（SHB）的几乎必然收敛性。
• 在过参数化和确定性设置下，证明SHB的函数值收敛速度优于随机梯度下降法（SGD）。
• 通过推导依赖于迭代次数的步长和动量参数，消除SHB对最终迭代平均的依赖，从而避免SGD中常见的平均化需求。
• 构建一个通用分析框架，可适用于任意采样、小批量采样和非均匀采样，且无需有界梯度假设。
• 通过在多样化数据集上的广泛数值实验，验证理论推导出的参数设置。

提出的方法

• 分析采用任意采样框架，将小批量采样和非均匀采样作为特例进行推广。
• 引入依赖于迭代次数的学习率和动量参数，以加速收敛并确保几乎必然收敛。
• 方法仅依赖于光滑性假设，避免了通常使用但具有限制性的有界梯度条件。
• 通过一种新颖的李雅普诺夫函数分析方法，追踪迭代序列和函数值随时间的演化过程，实现收敛性证明。
• 该框架被应用于确定性和随机设置，包括过参数化模型。
• 在多样化数据集上开展数值实验，以实证验证理论分析中预测的收敛速度提升。

实验结果

研究问题

• RQ1 在仅假设光滑性和凸性、且无有界梯度假设的条件下，随机加速梯度法（SHB）是否能几乎必然收敛至极小值点？
• RQ2 在过参数化和确定性设置下，SHB的函数值收敛速度是否优于SGD？
• RQ3 SHB是否必须依赖最终迭代平均？还是可通过合理参数调节实现无需平均的更快收敛？
• RQ4 能否设计出依赖于迭代次数的步长和动量参数，以确保更快收敛并消除对平均的依赖？
• RQ5 理论上推导出的参数设置是否在多样化数据集上带来统计上显著的收敛速度提升？

主要发现

• 在仅假设光滑性和凸性、且无需有界梯度的条件下，随机加速梯度法（SHB）的迭代序列几乎必然收敛至极小值点。
• 在过参数化和确定性设置下，SHB的函数值收敛速率在渐近意义上优于SGD。
• 所提出的依赖于迭代次数的步长和动量参数，使SHB能够在无需最终迭代平均的情况下实现更快收敛。
• 该分析可推广至任意采样方式，包括小批量采样和非均匀采样，且不失一般性。
• 广泛的数值实验表明，理论上设计的参数设置在多样化数据集上均带来统计上显著的收敛速度提升。
• 该方法在不同数据分布和模型架构下均表现出稳健的性能优势，实证验证了理论结论的可靠性。