[论文解读] Reinforced stochastic gradient descent for deep neural network learning

Haiping Huang, Taro Toyoizumi|arXiv (Cornell University)|Jan 27, 2017

Stochastic Gradient Optimization Techniques参考文献 26被引用 3

一句话总结

本文提出了一种新型的随机梯度下降变体——强化随机梯度下降（R-SGD），该方法通过随时间增加的概率，以随机方式将当前梯度与累积的历史梯度相结合。R-SGD 显著加快了学习速度，减少了过拟合，并在仅使用一半内存的情况下实现了与 Adam 相当的泛化性能，在合成数据集和 MNIST 基准测试中均优于标准 SGD 及自适应方法。

ABSTRACT

Stochastic gradient descent (SGD) is a standard optimization method to minimize a training error with respect to network parameters in modern neural network learning. However, it typically suffers from proliferation of saddle points in the high-dimensional parameter space. Therefore, it is highly desirable to design an efficient algorithm to escape from these saddle points and reach a parameter region of better generalization capabilities. Here, we propose a simple extension of SGD, namely reinforced SGD, which simply adds previous first-order gradients in a stochastic manner with a probability that increases with learning time. As verified in a simple synthetic dataset, this method significantly accelerates learning compared with the original SGD. Surprisingly, it dramatically reduces over-fitting effects, even compared with state-of-the-art adaptive learning algorithm---Adam. For a benchmark handwritten digits dataset, the learning performance is comparable to Adam, yet with an extra advantage of requiring one-fold less computer memory. The reinforced SGD is also compared with SGD with fixed or adaptive momentum parameter and Nesterov's momentum, which shows that the proposed framework is able to reach a similar generalization accuracy with less computational costs. Overall, our method introduces stochastic memory into gradients, which plays an important role in understanding how gradient-based training algorithms can work and its relationship with generalization abilities of deep networks.

研究动机与目标

• 为解决在深度神经网络训练过程中，SGD 在高维损失曲面的鞍点和平台区域陷入困境的问题。
• 在不增加计算成本或内存使用的情况下，提升泛化性能与收敛速度。
• 探究是否可以通过随机引入历史梯度信息来增强探索能力，并有效逃离次优局部极小值。
• 在准确率与效率方面，将 R-SGD 的性能与当前最先进的自适应优化器（如 Adam）及基于动量的方法进行比较。
• 通过实证评估，探究梯度记忆与深度学习泛化能力之间的关系。

提出的方法

• R-SGD 引入了一个随训练步数增加的时间相关强化概率，以随机方式将当前梯度与过去梯度的加权和相结合。
• 该方法采用概率机制，决定在每次更新步骤中是应用强化梯度（当前梯度 + 历史梯度）还是仅使用当前梯度。
• 强化通过以随时间增长的概率，将缩放后的累积历史梯度加到当前梯度上来实现。
• 该算法维护过去梯度的运行平均值，并以随机方式应用，从而在优化过程中引入受控的记忆机制。
• 该框架在使用 Sigmoid 激活函数的全连接深度网络上进行评估，并在合成非线性映射任务和 MNIST 数字分类任务上进行了测试。
• 通过训练/测试损失和泛化准确率等指标，将该方法与原始 SGD、Adam 及基于动量的 SGD 变体进行比较。

实验结果

研究问题

• RQ1 随机强化历史梯度是否能提升深度神经网络训练中的收敛速度与泛化性能？
• RQ2 R-SGD 是否在内存使用更少的情况下仍优于 Adam 的泛化性能？
• RQ3 在高维非凸损失曲面中，历史梯度信息的引入如何影响优化轨迹？
• RQ4 R-SGD 是否能有效逃离阻碍标准 SGD 的鞍点和平台区域？
• RQ5 在不同初始化条件下，R-SGD 与基于动量及自适应方法的性能表现如何比较？

主要发现

• 在合成非线性映射任务中，与标准 SGD 和 Adam 相比，R-SGD 显著加快了学习速度并减少了过拟合。
• 在 MNIST 基准测试中，R-SGD 实现了与 Adam 相当的泛化性能，但内存使用量减少了一半。
• R-SGD 在达到与 Adam 和使用自适应动量的 SGD 相似的泛化准确率的同时，计算成本更低。
• 双线性插值分析表明，R-SGD 在权重空间中探索了比 Adam 更尖锐的子空间，暗示其具有不同的泛化特性。
• 与固定或自适应动量的 SGD 及 Nesterov 动量方法相比，R-SGD 在收敛速度与泛化性能方面表现更优。
• R-SGD 在不同随机初始化条件下均表现出稳健性能，表明其具有稳定的优化行为。