[论文解读] Study on the Large Batch Size Training of Neural Networks Based on the Second Order Gradient

Fengli Gao, Huicai Zhong|arXiv (Cornell University)|Dec 16, 2020

Advanced Neural Network Applications参考文献 29被引用 6

一句话总结

该论文提出了一种基于曲率的自适应学习率（CBLR）算法，通过建模二阶梯度信息来解决大规模小批量训练中深度神经网络的泛化差距问题。理论上将参数更新步长消失与尖锐极小值联系起来，证明了LARS等层间学习率方法是CBLR的特例，并通过损失样本丢弃和批量大小调度验证了泛化性能的提升。

ABSTRACT

Large batch size training in deep neural networks (DNNs) possesses a well-known 'generalization gap' that remarkably induces generalization performance degradation. However, it remains unclear how varying batch size affects the structure of a NN. Here, we combine theory with experiments to explore the evolution of the basic structural properties, including gradient, parameter update step length, and loss update step length of NNs under varying batch sizes. We provide new guidance to improve generalization, which is further verified by two designed methods involving discarding small-loss samples and scheduling batch size. A curvature-based learning rate (CBLR) algorithm is proposed to better fit the curvature variation, a sensitive factor affecting large batch size training, across layers in a NN. As an approximation of CBLR, the median-curvature LR (MCLR) algorithm is found to gain comparable performance to Layer-wise Adaptive Rate Scaling (LARS) algorithm. Our theoretical results and algorithm offer geometry-based explanations to the existing studies. Furthermore, we demonstrate that the layer wise LR algorithms, for example LARS, can be regarded as special instances of CBLR. Finally, we deduce a theoretical geometric picture of large batch size training, and show that all the network parameters tend to center on their related minima.

研究动机与目标

• 理解大规模小批量训练中深度神经网络泛化差距的几何成因。
• 分析批量大小对基本结构属性的影响：梯度、参数更新步长长度和损失更新步长长度。
• 设计一种对曲率敏感的学习率策略，使其能够适应网络中各层的局部曲率变化。
• 提供一个理论框架，通过二阶几何结构解释现有方法（如LARS、LAMB和学习率热身）的机理。
• 通过样本丢弃和批量大小调度，为缓解大规模小批量训练中的泛化性能下降提供实用指导。

提出的方法

• 通过使用二阶梯度近似建模网络参数到其最近损失极小值的距离，推导大规模小批量训练的理论极限。
• 提出一种基于曲率的学习率（CBLR）算法，根据各层的局部曲率变化动态调整学习率，从而更好地适应尖锐或平坦的极小值区域。
• 提出CBLR的一个实用近似方法——中值曲率学习率（MCLR），尽管计算更简单，但其泛化性能与LARS相当，验证了其实际可行性。
• 利用Morse理论和统计分析，建模在不同批量大小下参数到极小值距离的分布，表明随着批量大小增加，网络参数会趋向收敛至极小值。
• 通过实证分析验证理论，研究在不同批量大小下，各层梯度和更新步长长度的演化过程。
• 设计两种实用方法——丢弃低损失样本和动态批量大小调度，以增强泛化性能，其理论基础源于曲率和更新步长长度的动力学特性。

实验结果

研究问题

• RQ1 增加批量大小如何影响深层神经网络参数、梯度和损失更新的几何结构？
• RQ2 为何大规模小批量训练会导致泛化性能下降，损失曲面的曲率在此过程中起到什么作用？
• RQ3 能否利用二阶梯度信息设计出更优的学习率调度策略，以提升大规模小批量训练的泛化性能？
• RQ4 现有方法如LARS、学习率热身和批量大小调度与所提出的基于曲率的框架有何关联？
• RQ5 大规模小批量训练的理论几何图景是怎样的，特别是关于参数收敛至极小值的过程？

主要发现

• 大规模小批量训练导致参数更新步长消失，原因是梯度方差减小，从而引发在尖锐极小值处的过早收敛。
• 理论分析表明，随着批量大小增加，网络参数趋于其最近的损失极小值，导致有意义的优化过程实质上停止。
• 基于曲率的学习率（CBLR）算法能有效根据各层的局部曲率自适应调整学习率，在大规模小批量训练中显著改善泛化性能。
• CBLR的中值曲率学习率（MCLR）近似方法在性能上可与LARS相媲美，验证了其实际应用价值和理论基础。
• 层间学习率方法（如LARS和LAMB）被证明是所提CBLR框架的特例，从而在统一的几何原理下统一解释了其行为。
• 两种实用方法——丢弃低损失样本和批量大小调度——能有效缓解泛化差距，已在AlexNet和CIFAR-10上获得实证验证。