[论文解读] Reconciling Modern Deep Learning with Traditional Optimization Analyses: The Intrinsic Learning Rate

Zhiyuan Li, Kaifeng Lyu+1 more|arXiv (Cornell University)|Oct 6, 2020

Model Reduction and Neural Networks被引用 15

一句话总结

本文引入了'内在学习率'——即学习率与权重衰减的乘积——作为控制归一化深度网络训练动态的关键参数。通过将SGD建模为随机微分方程（SDE），研究发现函数空间中的平衡状态与内在学习率成反比，挑战了'初始学习率较大对良好泛化至关重要'的普遍信念，并提出了'快速平衡猜想'以解释批归一化（Batch Normalization）的成功。

ABSTRACT

Recent works (e.g., (Li and Arora, 2020)) suggest that the use of popular normalization schemes (including Batch Normalization) in today's deep learning can move it far from a traditional optimization viewpoint, e.g., use of exponentially increasing learning rates. The current paper highlights other ways in which behavior of normalized nets departs from traditional viewpoints, and then initiates a formal framework for studying their mathematics via suitable adaptation of the conventional framework namely, modeling SGD-induced training trajectory via a suitable stochastic differential equation (SDE) with a noise term that captures gradient noise. This yields: (a) A new ' intrinsic learning rate' parameter that is the product of the normal learning rate and weight decay factor. Analysis of the SDE shows how the effective speed of learning varies and equilibrates over time under the control of intrinsic LR. (b) A challenge -- via theory and experiments -- to popular belief that good generalization requires large learning rates at the start of training. (c) New experiments, backed by mathematical intuition, suggesting the number of steps to equilibrium (in function space) scales as the inverse of the intrinsic learning rate, as opposed to the exponential time convergence bound implied by SDE analysis. We name it the Fast Equilibrium Conjecture and suggest it holds the key to why Batch Normalization is effective.

研究动机与目标

• 在批归一化等归一化技术的背景下，弥合现代深度学习与传统优化分析之间的鸿沟。
• 识别归一化网络训练动态与经典优化观点之间的根本性差异。
• 利用随机微分方程（SDE）建立数学框架，以建模带有梯度噪声的SGD轨迹。
• 挑战广泛持有的信念，即训练初期使用大学习率对良好泛化是必要的。
• 提出并研究'快速平衡猜想'，其中收敛时间与内在学习率成反比。

提出的方法

• 使用带有表示梯度噪声的噪声项的随机微分方程（SDE），对归一化网络中随机梯度下降（SGD）的训练轨迹进行建模。
• 将'内在学习率'定义为标准学习率与权重衰减因子的乘积，其控制有效学习速度。
• 分析SDE以推导系统的时变演化过程，并识别内在学习率如何控制函数空间中的平衡过程。
• 通过理论分析与受控实验，检验平衡时间相对于内在学习率的缩放关系。
• 将理论预测与实证观察进行比较，以评估'快速平衡猜想'的有效性。
• 调整经典优化框架，以考虑归一化层所引起的非线性和自适应行为。

实验结果

研究问题

• RQ1 归一化深度网络的行为如何偏离经典优化理论？
• RQ2 内在学习率在控制归一化网络中训练速度与平衡过程方面起什么作用？
• RQ3 根据'快速平衡猜想'，函数空间中达到平衡所需的时间是否与内在学习率成反比？
• RQ4 广泛持有的信念——即训练初期使用大学习率对良好泛化至关重要——是否得到理论和实验的支持？
• RQ5 批归一化的效果是否可以通过由内在学习率控制的快速平衡机制来解释？

主要发现

• 内在学习率（定义为学习率与权重衰减的乘积）控制了归一化网络中的有效学习速度与平衡过程。
• 函数空间中达到平衡的时间与内在学习率成反比，支持'快速平衡猜想'。
• 实证结果表明，平衡达到的速度显著快于标准SDE收敛界所预测的指数时间缩放。
• 本研究挑战了传统观念，即训练初期使用大学习率对良好泛化至关重要。
• 理论与实验证据表明，批归一化成功的原因可能在于其通过控制内在学习率实现了快速平衡。