[论文解读] Normalized Gradient with Adaptive Stepsize Method for Deep Neural Network Training.

Adams Wei Yu, Qihang Lin+2 more|arXiv (Cornell University)|Jul 16, 2017

Stochastic Gradient Optimization Techniques参考文献 3被引用 21

一句话总结

本文提出了一种通用的一阶优化框架，通过归一化小批量随机梯度并应用自适应步长来训练深度神经网络。该方法在凸目标下实现了次线性收敛，并在多层感知机（MLP）、卷积神经网络（CNN）和循环神经网络（RNN）中显著提升了训练速度，尤其在深层或长依赖网络中效果显著。

ABSTRACT

In this paper, we propose a generic and simple algorithmic framework for first order optimization. The framework essentially contains two consecutive steps in each iteration: 1) computing and normalizing the mini-batch stochastic gradient; 2) selecting adaptive step size to update the decision variable (parameter) towards the negative of the normalized gradient. We show that the proposed approach, when customized to the popular adaptive stepsize methods, such as AdaGrad, can enjoy a sublinear convergence rate, if the objective is convex. We also conduct extensive empirical studies on various non-convex neural network optimization problems, including multi layer perceptron, convolution neural networks and recurrent neural networks. The results indicate the normalized gradient with adaptive step size can help accelerate the training of neural networks. In particular, significant speedup can be observed if the networks are deep or the dependencies are long.

研究动机与目标

• 开发一种适用于深度学习的通用、简单的一阶优化框架。
• 通过梯度归一化和自适应步长策略提升训练效率。
• 在凸目标下实现可证明的收敛性，并在非凸神经网络设置中获得经验性收益。
• 在多种架构（包括深层和循环网络）上评估性能。

提出的方法

• 在每次迭代中，计算小批量随机梯度并将其归一化为单位长度。
• 采用自适应步长策略，沿归一化梯度的反方向更新参数。
• 将该框架与现有自适应方法（如AdaGrad）集成，以保持收敛性保证。
• 将该方法应用于非凸问题（如深层MLP、CNN和RNN）以进行经验评估。
• 确保归一化步骤能稳定高维参数空间中的更新，并改善泛化性能。

实验结果

研究问题

• RQ1 归一化梯度结合自适应步长是否能提升深层神经网络的收敛性和训练速度？
• RQ2 当该框架适配AdaGrad等方法时，是否仍能保持凸目标下的次线性收敛性？
• RQ3 该方法在非凸问题（如深层MLP、CNN和RNN）上的表现如何？
• RQ4 该方法是否在深层或长依赖架构中实现显著提速？

主要发现

• 当该方法定制于AdaGrad时，归一化梯度结合自适应步长可在凸目标下实现次线性收敛。
• 实验结果表明，该方法在多种神经网络架构（包括深层和循环模型）中均实现了训练加速。
• 在深层网络和具有长期依赖性的网络（如RNN）中观察到显著提速。
• 归一化稳定了梯度更新，在高维非凸设置中改善了优化动态。