[论文解读] REX: Revisiting Budgeted Training with an Improved Schedule

John Chen, C. Wolfe+1 more|arXiv (Cornell University)|Jul 9, 2021

Reservoir Engineering and Simulation Methods参考文献 41被引用 5

一句话总结

本文提出 REX，一种新颖的学习率调度策略，结合反射指数型曲线与迭代采样，可在低预算和高预算训练场景下超越现有调度策略。REX 在图像分类、目标检测和自然语言处理任务中均达到最先进性能，且无需额外超参数、计算或存储开销，在使用 SGD 和 Adam 优化器的 82 种实验设置中，始终优于线性、阶梯、余弦和 OneCycle 调度策略。

ABSTRACT

Deep learning practitioners often operate on a computational and monetary budget. Thus, it is critical to design optimization algorithms that perform well under any budget. The linear learning rate schedule is considered the best budget-aware schedule, as it outperforms most other schedules in the low budget regime. On the other hand, learning rate schedules -- such as the exttt{30-60-90} step schedule -- are known to achieve high performance when the model can be trained for many epochs. Yet, it is often not known a priori whether one's budget will be large or small; thus, the optimal choice of learning rate schedule is made on a case-by-case basis. In this paper, we frame the learning rate schedule selection problem as a combination of $i)$ selecting a profile (i.e., the continuous function that models the learning rate schedule), and $ii)$ choosing a sampling rate (i.e., how frequently the learning rate is updated/sampled from this profile). We propose a novel profile and sampling rate combination called the Reflected Exponential (REX) schedule, which we evaluate across seven different experimental settings with both SGD and Adam optimizers. REX outperforms the linear schedule in the low budget regime, while matching or exceeding the performance of several state-of-the-art learning rate schedules (linear, step, exponential, cosine, step decay on plateau, and OneCycle) in both high and low budget regimes. Furthermore, REX requires no added computation, storage, or hyperparameters.

研究动机与目标

• 解决在训练预算（训练轮数）不确定或受限时，选择最优学习率调度策略的挑战。
• 识别一种在低预算和高预算训练场景下均表现良好的单一学习率调度策略，且无需额外超参数。
• 通过调度曲线类型与采样频率设计，提出统一框架以理解学习率调度策略。
• 在包括图像分类、目标检测和自然语言处理在内的多样化深度学习任务中，实证验证所提调度策略的有效性。

提出的方法

• 作者将学习率调度选择建模为调度曲线类型（连续函数）与采样频率（更新频率）的联合优化问题。
• 提出反射指数（REX）曲线，定义为经过反射与缩放的指数衰减函数，起始值较高，快速衰减后趋于平缓。
• REX 调度采用每轮迭代的采样频率，确保持续适应，且无额外计算成本。
• 该方法在包含 ResNet、DenseNet、YOLO、BERT 等模型，基于 CIFAR、ImageNet、COCO 和 GLUE 基准的 82 种实验设置中进行了评估。
• REX 调度与线性、阶梯、余弦、指数衰减、OneCycle 和平台衰减等调度策略在 SGD 和 Adam 优化器下进行了对比。
• 无需额外超参数、存储或计算开销——REX 可作为现有调度策略的即插即用替代方案。

实验结果

研究问题

• RQ1 是否存在一种单一学习率调度策略，可在低预算与高预算训练场景下均实现优越性能？
• RQ2 调度曲线类型与采样频率的组合如何影响预算受限训练中的泛化能力与鲁棒性？
• RQ3 REX 调度是否在多样化深度学习任务中优于线性、阶梯、余弦和 OneCycle 等成熟调度策略？
• RQ4 在低预算设置下，REX 调度对初始学习率选择不佳的情况是否具有鲁棒性？
• RQ5 REX 是否可无需额外超参数或计算开销而直接部署？

主要发现

• 在全部 28 组实验中，REX 在 70% 的情况下达到最高 Top-1 准确率，在 92% 的情况下达到 Top-3 准确率。
• 在低预算场景（总轮数的 1%、5%、10%）中，REX 超过了被视为当前预算训练黄金标准的线性调度策略。
• 在高预算场景（总轮数的 25%、50%、100%）中，REX 的性能与所有其他调度策略持平或更优，包括 OneCycle 和余弦衰减。
• 在 BERT BASE - GLUE 基准上，REX 在 1、2 和 3 次微调轮数下均取得 82.8 的最高平均得分，优于线性调度（82.6）和 OneCycle（82.7）。
• 在图像分类任务（ResNet-20/CIFAR-10 和 ResNet-38/CIFAR-100）中，REX 在广泛的初始学习率范围内均保持优异性能，展现出强鲁棒性。
• 无论初始学习率如何，REX 调度的相对排名保持稳定，表明其在次优超参数设置下仍具持续优越性。