[论文解读] On Learning Rates and Schrödinger Operators

Bin Shi, Weijie Su+1 more|arXiv (Cornell University)|Apr 15, 2020

Machine Learning and Algorithms参考文献 69被引用 13

一句话总结

本文提出一种与学习率相关的随机微分方程（lr-SDE），用于建模非凸优化中的随机梯度下降（SGD）。通过分析与lr-SDE相关的Witten-Laplacian算子（一种Schrödinger算子），推导出线性收敛速率的显式表达式，表明在非凸设置下，随着学习率降低，该收敛速率迅速衰减，而强凸情况下则保持恒定。这为深度学习中的学习率衰减提供了理论基础。

ABSTRACT

The learning rate is perhaps the single most important parameter in the training of neural networks and, more broadly, in stochastic (nonconvex) optimization. Accordingly, there are numerous effective, but poorly understood, techniques for tuning the learning rate, including learning rate decay, which starts with a large initial learning rate that is gradually decreased. In this paper, we present a general theoretical analysis of the effect of the learning rate in stochastic gradient descent (SGD). Our analysis is based on the use of a learning-rate-dependent stochastic differential equation (lr-dependent SDE) that serves as a surrogate for SGD. For a broad class of objective functions, we establish a linear rate of convergence for this continuous-time formulation of SGD, highlighting the fundamental importance of the learning rate in SGD, and contrasting to gradient descent and stochastic gradient Langevin dynamics. Moreover, we obtain an explicit expression for the optimal linear rate by analyzing the spectrum of the Witten-Laplacian, a special case of the Schrödinger operator associated with the lr-dependent SDE. Strikingly, this expression clearly reveals the dependence of the linear convergence rate on the learning rate -- the linear rate decreases rapidly to zero as the learning rate tends to zero for a broad class of nonconvex functions, whereas it stays constant for strongly convex functions. Based on this sharp distinction between nonconvex and convex problems, we provide a mathematical interpretation of the benefits of using learning rate decay for nonconvex optimization.

研究动机与目标

• 为理解学习率如何影响非凸优化中随机梯度下降（SGD）的收敛性提供理论依据。
• 弥合非凸设置下经验性实践（如学习率衰减）与理论解释之间的差距。
• 通过连续时间的与学习率相关的SDE对SGD进行建模，并利用谱理论分析其收敛性质。
• 揭示非凸问题与强凸问题在学习率影响下的收敛行为的根本差异。
• 为大初始学习率和学习率衰减策略提供数学解释，以说明其为何能提升优化性能。

提出的方法

• 构建一个与学习率相关的随机微分方程（lr-SDE），作为离散SGD的连续时间近似。
• 利用Fokker-Planck-Smoluchowski方程描述lr-SDE概率密度随时间的演化。
• 分析与lr-SDE相关的Witten-Laplacian算子（Schrödinger算子的特例）的谱性质。
• 在目标函数满足正则性条件的前提下，建立lr-SDE的线性收敛速率。
• 推导出包含学习率和Morse鞍点屏障 $ H_{f,\bullet} $ 的线性收敛速率的显式表达式。
• 应用谱理论与渐近分析，刻画小学习率极限下Witten-Laplacian特征值的衰减行为。

实验结果

研究问题

• RQ1 学习率如何影响非凸优化中SGD的收敛速率？
• RQ2 为何学习率衰减能提升深度神经网络的优化性能？
• RQ3 在SGD下，非凸问题与强凸问题的收敛行为存在何种根本差异？
• RQ4 SGD的收敛速率能否显式表示为学习率与目标函数几何性质的函数？
• RQ5 Witten-Laplacian的谱结构如何与SGD的动力学相关联？

主要发现

• 对于一大类非凸Morse函数，lr-SDE的线性收敛速率随着学习率 $ s \to 0 $ 快速衰减至零。
• 相比之下，在强凸函数中，线性收敛速率在 $ s \to 0 $ 时保持恒定，凸显了凸与非凸设置下的根本差异。
• 最优线性收敛速率通过Witten-Laplacian的谱显式表达，其依赖于学习率和Morse鞍点屏障 $ H_{f,\bullet} $。
• Witten-Laplacian的特征值满足 $ \delta_{s,\ell} = s(\gamma_\ell + o(s)) \mathrm{e}^{-2H_{f,\ell}/s} $，表明其对屏障高度具有指数依赖性。
• 该理论为在训练深度神经网络时采用大初始学习率和学习率衰减策略提供了理论依据，因其可在非凸景观中实现更快收敛。
• 该框架为理解梯度噪声与学习率在非凸优化中的作用提供了定量基础。