[论文解读] Selecting and Composing Learning Rate Policies for Deep Neural Networks

Yanzhao Wu, Ling Liu|arXiv (Cornell University)|Oct 24, 2022

Machine Learning and Data Classification被引用 5

一句话总结

本论文提出了一种系统化方法，通过动态调优机制和名为 LRBench 的推荐系统，为深度神经网络（DNNs）选择并组合最优学习率（LR）策略。该方法可自动验证 LR 策略是否满足目标准确率和训练时间约束，在多种 DNN 模型和数据集上，相比默认策略将训练时间减少 1.6–6.7 倍，同时实现更高的测试准确率。

ABSTRACT

The choice of learning rate (LR) functions and policies has evolved from a simple fixed LR to the decaying LR and the cyclic LR, aiming to improve the accuracy and reduce the training time of Deep Neural Networks (DNNs). This paper presents a systematic approach to selecting and composing an LR policy for effective DNN training to meet desired target accuracy and reduce training time within the pre-defined training iterations. It makes three original contributions. First, we develop an LR tuning mechanism for auto-verification of a given LR policy with respect to the desired accuracy goal under the pre-defined training time constraint. Second, we develop an LR policy recommendation system (LRBench) to select and compose good LR policies from the same and/or different LR functions through dynamic tuning, and avoid bad choices, for a given learning task, DNN model and dataset. Third, we extend LRBench by supporting different DNN optimizers and show the significant mutual impact of different LR policies and different optimizers. Evaluated using popular benchmark datasets and different DNN models (LeNet, CNN3, ResNet), we show that our approach can effectively deliver high DNN test accuracy, outperform the existing recommended default LR policies, and reduce the DNN training time by 1.6$\sim$6.7$ imes$ to meet a targeted model accuracy.

研究动机与目标

• 解决在固定训练时间和目标准确率约束下，为深度神经网络（DNNs）选择有效学习率（LR）策略的挑战。
• 克服手动、试错式 LR 调优耗时且易导致次优选择的局限性。
• 开发一个系统化框架，以跨多种 DNN 模型、数据集和优化器推荐并组合高性能 LR 策略。
• 研究不同 LR 策略与优化器之间对 DNN 训练效率和模型准确率的相互影响。
• 提供一种自动化、可扩展的 LR 函数超参数调优解决方案，减少对默认或启发式配置的依赖。

提出的方法

• 设计一种动态 LR 调优机制，可自动验证 LR 策略是否符合预设的准确率和训练时间目标。
• 实现 LRBench，一个推荐系统，通过动态参数调优从多种 LR 函数（如固定、衰减、循环）中选择并组合 LR 策略。
• 通过组合不同 LR 函数（如固定 + 衰减）支持异构 LR 策略的组合，以提升训练效率。
• 将 LRBench 集成至现有超参数调优框架（如 Ray Tune），以支持在 LR 空间中进行分布式、高效的搜索。
• 评估不同优化器（如 Adam、SGD）对 LR 策略有效性的影响，揭示其显著的相互依赖性。
• 通过在标准数据集（如 CIFAR-10、MNIST）和模型（如 LeNet、ResNet）上建立系统化基准测试流程，验证策略性能。

实验结果

研究问题

• RQ1 如何系统化地选择和组合学习率策略，以满足 DNN 训练中的目标准确率和训练时间约束？
• RQ2 在单一策略中组合不同 LR 函数（如固定、衰减、循环）对模型收敛性和准确率有何影响？
• RQ3 不同优化器（如 Adam、SGD）与各种 LR 策略之间如何相互作用，这种交互对训练效率和模型性能有何影响？
• RQ4 像 LRBench 这类推荐系统能否在准确率和训练速度上超越深度学习框架提供的默认 LR 策略？
• RQ5 自动化 LR 策略调优在多大程度上可减少 DNN 训练中对人工超参数调优的依赖？

主要发现

• 所提出的 LR 调优机制成功地将 LR 策略与目标准确率和训练时间约束进行自动验证，实现了策略质量的自动化评估。
• LRBench 在主流深度学习框架（如 TensorFlow、Caffe、PyTorch）提供的默认 LR 策略上表现更优，在基准数据集上实现了更高的测试准确率。
• 与默认策略相比，训练时间减少了 1.6× 至 6.7×，同时在 LeNet、CNN3 和 ResNet 模型上保持或提升了模型准确率。
• 复合 LR 策略（组合多个 LR 函数）表现出更优性能，表明异构组合比单一函数策略更具有效性。
• LR 策略与优化器之间存在显著的相互影响：同一 LR 策略在 Adam 和 SGD 等不同优化器上表现差异显著，因此必须联合考虑。
• 该框架具有良好的泛化能力，在多种数据集（如 MNIST、CIFAR-10）和 DNN 架构上均表现有效，证实其在真实训练场景中的广泛适用性。