[论文解读] Robust Learning Rate Selection for Stochastic Optimization via Splitting Diagnostic

Matteo Sordello, Dalmasso, Niccolò+2 more|arXiv (Cornell University)|Oct 18, 2019

Stochastic Gradient Optimization Techniques参考文献 31被引用 7

一句话总结

该论文提出SplitSGD，一种用于随机优化的鲁棒学习率调度方法，通过一种新颖的分割诊断方法检测平稳性后动态降低学习率。通过比较两条独立SGD线程的梯度，它能够在迭代点在局部最小值附近震荡时识别出平稳阶段，并在不增加额外计算成本的情况下自适应调整学习率，从而在非凸设置（如深度神经网络）中实现比Adam和标准SGD更优的收敛性和泛化性能。

ABSTRACT

This paper proposes SplitSGD, a new dynamic learning rate schedule for stochastic optimization. This method decreases the learning rate for better adaptation to the local geometry of the objective function whenever a stationary phase is detected, that is, the iterates are likely to bounce at around a vicinity of a local minimum. The detection is performed by splitting the single thread into two and using the inner product of the gradients from the two threads as a measure of stationarity. Owing to this simple yet provably valid stationarity detection, SplitSGD is easy-to-implement and essentially does not incur additional computational cost than standard SGD. Through a series of extensive experiments, we show that this method is appropriate for both convex problems and training (non-convex) neural networks, with performance compared favorably to other stochastic optimization methods. Importantly, this method is observed to be very robust with a set of default parameters for a wide range of problems and, moreover, can yield better generalization performance than other adaptive gradient methods such as Adam.

研究动机与目标

• 解决随机优化中选择最优学习率的挑战，该问题对收敛性和泛化性能有关键影响。
• 克服固定或启发式学习率调度方法对超参数选择敏感的局限性。
• 开发一种能自动检测平稳阶段（接近局部最小值）并相应调整学习率的方法。
• 确保在各种问题（包括凸与非凸目标）中具有鲁棒性，且调参极少。
• 相比自适应方法（如Adam）提升泛化性能，特别是在深度学习设置中。

提出的方法

• SplitSGD从相同的参数值出发，使用不同的随机数据样本运行两条独立的SGD线程。
• 在固定时间间隔，计算两条线程平均梯度之间的内积（梯度一致性）以评估平稳性。
• 基于多个窗口中负内积比例的假设检验，判断系统是否处于平稳阶段。
• 若负内积比例超过阈值 $ q $，方法判定为平稳阶段，并将学习率按固定因子降低。
• 诊断使用长度为 $ l $ 次迭代的滑动窗口和多个诊断窗口 $ w $，以提高统计可靠性。
• 仅在检测到平稳阶段时触发学习率衰减，非平稳阶段则保留完整的梯度更新。

实验结果

研究问题

• RQ1 一种简单且低成本的诊断机制能否可靠检测随机优化是否已进入接近局部最小值的平稳阶段？
• RQ2 所提出的分割诊断方法在准确性和检测时机方面与现有平稳性检测方法相比如何？
• RQ3 基于平稳性检测的动态学习率降低是否能在凸与非凸问题中实现更快的收敛和更好的泛化性能？
• RQ4 SplitSGD在不同优化任务中对初始学习率选择的鲁棒性如何？
• RQ5 SplitSGD能否在无需大量超参数调优的情况下，优于Adam等自适应方法在深度学习基准上的表现？

主要发现

• SplitSGD仅通过两条独立SGD线程间梯度一致性的符号即可高精度检测平稳性，额外计算量仅限于标准SGD的范围。
• 在凸问题和在CIFAR-10上训练的VGG19等深度神经网络上，该方法的收敛速度和泛化性能均优于Adam和标准SGD。
• 在VGG19实验中，SplitSGD在更少的训练轮次内达到了手动调优SGD的测试准确率，表现出更高的样本效率。
• SplitSGD对初始学习率选择具有鲁棒性，在广泛设置下均保持优异性能，无需微调。
• 与Pflug诊断相比，分割诊断能更早且更准确地检测到平稳性，尤其在远离最优解时表现更优。
• 该方法在准确率因平均效应出现峰值后，显现出学习率衰减的清晰模式，随后因步长减小而实现平滑，表明其能有效适应局部几何结构。