[论文解读] Reinforcement Learning for Learning Rate Control

Chang Xu, Tao Qin+2 more|arXiv (Cornell University)|May 31, 2017

Reinforcement Learning in Robotics参考文献 21被引用 15

一句话总结

本文提出了一种演员-评论家强化学习框架，用于在深度学习中自动学习随机梯度下降（SGD）的最优学习率。通过训练策略网络（演员）以决定每一步的学习率，以及价值网络（评论家）以评估长期性能，该方法在多个数据集和网络架构上均实现了比人工设计基线更优的收敛性和更低的振荡。

ABSTRACT

Stochastic gradient descent (SGD), which updates the model parameters by adding a local gradient times a learning rate at each step, is widely used in model training of machine learning algorithms such as neural networks. It is observed that the models trained by SGD are sensitive to learning rates and good learning rates are problem specific. We propose an algorithm to automatically learn learning rates using neural network based actor-critic methods from deep reinforcement learning (RL).In particular, we train a policy network called actor to decide the learning rate at each step during training, and a value network called critic to give feedback about quality of the decision (e.g., the goodness of the learning rate outputted by the actor) that the actor made. The introduction of auxiliary actor and critic networks helps the main network achieve better performance. Experiments on different datasets and network architectures show that our approach leads to better convergence of SGD than human-designed competitors.

研究动机与目标

• 解决基于SGD训练中手动、问题特定的学习率调优挑战。
• 开发一种无需人工干预的自动化、自适应学习率策略，以提升模型收敛性。
• 利用强化学习优化长期性能，而非仅关注短期损失减少。
• 通过学习率策略中的梯度不一致性分析，稳定训练并减少振荡。
• 在不同数据集和神经网络架构之间实现学习率控制的泛化。

提出的方法

• 采用演员-评论家深度强化学习框架，其中演员网络在每个训练步骤输出学习率。
• 训练评论家网络以估计预期的累积未来损失减少量，从而实现长期奖励建模。
• 引入小批量梯度与全批量梯度之间的梯度不一致性作为调节学习率稳定性的信号。
• 向演员和评论家网络输入不同的训练样本，以检测振荡现象，并在不一致性较高时降低学习率。
• 使用策略梯度方法根据评论家反馈更新演员网络，以优化长期性能。
• 与主模型端到端联合训练辅助的演员和评论家网络，以共同提升收敛性。

实验结果

研究问题

• RQ1 强化学习能否有效用于在深度学习中学习SGD的最优学习率？
• RQ2 基于长期奖励的学习是否优于依赖即时损失减少的调度策略？
• RQ3 梯度不一致性能否作为可靠信号以稳定训练并减少振荡？
• RQ4 与人工设计的学习率调度相比，该方法在收敛速度和最终模型性能方面表现如何？
• RQ5 该方法是否能在无需重新调参的情况下，泛化到不同数据集和神经网络架构？

主要发现

• 所提方法在所有评估的数据集和网络架构中均实现了最优的最终测试损失，优于人工设计的基线方法。
• 尽管初期收敛速度与基线方法相似，但该方法通过优先优化长期奖励，实现了更优的最终性能。
• 训练损失和测试损失曲线明显比标准SGD及基线方法更平滑，表明振荡显著减少。
• 梯度不一致性分析证实，当小批量间梯度差异较大时，该方法会降低学习率，从而稳定训练。
• 优化轨迹的可视化显示，与其他方法相比，该方法以更直接的路径更快收敛至最优解。
• 该方法成功减少了训练过程中的振荡，特别是在梯度不一致性较高的区域，从而实现测试损失随时间单调下降。