[论文解读] Stochastic Gradient Descent: Going As Fast As Possible But Not Faster

Alice Schoenauer Sebag, Marc Schoenauer+1 more|arXiv (Cornell University)|Sep 5, 2017

Stochastic Gradient Optimization Techniques参考文献 28被引用 10

一句话总结

该论文提出SALeRA，一种用于随机梯度下降（SGD）的新型自适应学习率方法，通过两种统计检验动态调整学习率：一种用于在梯度方向一致时加速学习；另一种通过Page-Hinkley变化点检测法检测并从灾难性训练失败中恢复。与基线方法相比，SALeRA将失败率降低了40%，同时在MNIST和CIFAR-10基准测试中达到或超越了当前最先进性能。

ABSTRACT

When applied to training deep neural networks, stochastic gradient descent (SGD) often incurs steady progression phases, interrupted by catastrophic episodes in which loss and gradient norm explode. A possible mitigation of such events is to slow down the learning process. This paper presents a novel approach to control the SGD learning rate, that uses two statistical tests. The first one, aimed at fast learning, compares the momentum of the normalized gradient vectors to that of random unit vectors and accordingly gracefully increases or decreases the learning rate. The second one is a change point detection test, aimed at the detection of catastrophic learning episodes; upon its triggering the learning rate is instantly halved. Both abilities of speeding up and slowing down the learning rate allows the proposed approach, called SALeRA, to learn as fast as possible but not faster. Experiments on standard benchmarks show that SALeRA performs well in practice, and compares favorably to the state of the art.

研究动机与目标

• 解决深度神经网络在SGD训练中因损失和梯度范数发生灾难性爆炸而导致的训练不稳定问题。
• 开发一种学习率自适应策略，实现在不触发灾难性事件的前提下实现快速收敛。
• 提供一种原理清晰、与模型或数据分布无关的实时检测和恢复训练失败的方法。
• 减少对人工学习率衰减调度的依赖，避免训练过程不必要地变慢。
• 在不增加超参数敏感度的前提下，提升MNIST和CIFAR-10等标准基准上的鲁棒性和性能。

提出的方法

• SALeRA使用ALeRA过程，将归一化梯度向量的动量与随机单位向量的动量进行比较，以决定是否增加或减少学习率。
• 当梯度方向一致性超过随机水平时，学习率被提高；否则被降低。
• Page-Hinkley（PH）变化点检测测试用于监控小批量损失曲线，以检测表明灾难性事件发生的突然变化。
• 当PH测试触发时，学习率立即减半，模型恢复到之前的状态，从而实现快速恢复。
• 该方法无需事先了解损失景观，因此与模型或数据分布无关。
• 该方法设计为即插即用，可与现有优化器（如Adam）兼容，且仅需极少的超参数调优。

实验结果

研究问题

• RQ1 统计检验是否能在SGD训练中灾难性失败造成不可逆损害之前检测到失败？
• RQ2 梯度方向相关性是否可作为安全提高学习率的可靠信号？
• RQ3 在检测到失败后立即减半学习率的响应式恢复机制是否能提升训练鲁棒性？
• RQ4 自适应加速与响应式恢复的结合是否能优于现有自适应优化器（如Adam和NAG）？
• RQ5 Page-Hinkley阈值的选择如何影响学习速度与失败预防之间的平衡？

主要发现

• 在测试基准上，SALeRA将训练失败率（定义为20个周期后测试误差>80%）从基线方法的18.3%（ALeRA）降低至11.7%。
• 该方法成功挽救了约40%本应失败的训练运行，表明其对灾难性事件具有极强的韧性。
• 将Page-Hinkley阈值设置为初始损失值的10%，可实现学习速度与失败预防之间的最佳平衡。
• 使用λ=100或λ=1000作为阈值会显著降低性能，表明检测过于敏感会损害学习速度。
• SALeRA的最优超参数为α = 0.01和C = 3×10⁻⁶，而Adam的最优β1和β2值与默认设置不同（0.8和0.9999 vs. 0.9和0.999）。
• 即使仅进行最少的超参数调优，SALeRA的性能仍可与或优于当前最先进优化器（如Adam和NAG）相当。