[论文解读] Statistical Adaptive Stochastic Gradient Methods

Pengchuan Zhang, Hunter Lang+2 more|arXiv (Cornell University)|Feb 25, 2020

Stochastic Gradient Optimization Techniques参考文献 39被引用 8

一句话总结

本文提出SALSA，一种完全自主的随机优化方法，结合了平滑随机线搜索（SSLS）以实现自适应学习率预热，以及基于统计平稳性检验的SASA+以实现自动学习率衰减。SALSA在多个深度学习任务中实现了与人工调优优化器相当的性能，且无需手动调整初始学习率或衰减后的学习率超参数。

ABSTRACT

We propose a statistical adaptive procedure called SALSA for automatically scheduling the learning rate (step size) in stochastic gradient methods. SALSA first uses a smoothed stochastic line-search procedure to gradually increase the learning rate, then automatically switches to a statistical method to decrease the learning rate. The line search procedure ``warms up'' the optimization process, reducing the need for expensive trial and error in setting an initial learning rate. The method for decreasing the learning rate is based on a new statistical test for detecting stationarity when using a constant step size. Unlike in prior work, our test applies to a broad class of stochastic gradient algorithms without modification. The combined method is highly robust and autonomous, and it matches the performance of the best hand-tuned learning rate schedules in our experiments on several deep learning tasks.

研究动机与目标

• 消除随机优化中对初始学习率手动超参数调优的需求。
• 开发一种通用的统计检验方法，用于检测随机梯度方法中的平稳性，且无需针对特定算法进行修改。
• 设计一种无需预先调优的自主学习率调度框架，以提升收敛性与泛化能力。
• 通过单一默认配置，在多种深度学习模型与数据集上实现稳健训练。

提出的方法

• SALSA使用平滑随机线搜索（SSLS）从一个较小的初始值逐步增加学习率，从而在不引起不稳定性的情况下加速早期训练。
• 该方法通过一种统计线搜索过程检测学习率是否已达到稳定且有效的值，避免过早收敛。
• SALSA采用SASA+，一种基于梯度范数经验均值与方差的统计检验方法，用于在恒定学习率下检测平稳性。
• SASA+中的平稳性检验被设计为可广泛适用于包括SGD、SHB和NAG在内的多种随机优化方法，且无需修改算法本身。
• 当统计检验检测到平稳性时，学习率将自动按固定因子降低，以提升收敛性与泛化能力。
• SSLS用于预热与SASA+用于衰减的联合策略构成一个完全自主的优化器，无需人工调校学习率调度策略。

实验结果

研究问题

• RQ1 是否能通过统计检验在不进行算法特异性调整的情况下检测随机梯度方法中的平稳性？
• RQ2 平滑随机线搜索是否能有效实现学习率预热，而无需手动初始化？
• RQ3 自主学习率调度策略是否能在多种深度学习任务中达到或超越人工调优调度策略的性能？
• RQ4 SALSA的单一默认配置是否能在多种模型与数据集上实现最先进性能？

主要发现

• 在CIFAR-10上，SALSA使用默认初始学习率0.01实现了95%的测试准确率，与人工调优的SHB优化器性能相当。
• 在ImageNet上，SALSA达到了人工调优SHB优化器的最佳测试准确率，即使从较小的初始学习率开始，也优于使用预热的Adam。
• 在MNIST上，所有方法均收敛至相近性能，证实SALSA在凸设置下依然有效。
• 在Wikitext-2上，SALSA结合基于验证集的早停启发式方法（'w/ val'）实现了与人工基于验证集的SGD学习率衰减相当的测试性能。
• SALSA消除了在设置初始学习率时昂贵的试错过程，仅通过单一默认配置即实现具有竞争力的结果。
• SASA+中的统计平稳性检验被证明可无需修改地广泛适用于SGD、SHB和NAG方法，显著提升了其实际可用性。