[论文解读] Using Deep Q-Learning to Control Optimization Hyperparameters

Samantha Hansen|arXiv (Cornell University)|Feb 12, 2016

Reinforcement Learning in Robotics参考文献 13被引用 23

一句话总结

本文提出Q-梯度下降法，一种新颖的优化框架，利用深度Q学习自动控制基于梯度的神经网络训练中的学习率。通过将超参数调节建模为具有自定义状态、动作和奖励函数的强化学习问题，该方法训练深度Q网络（DQN）以预测最优学习率调整，相较于Armijo和非单调线搜索方法，实现了更优的收敛性和泛化性能。

ABSTRACT

We present a novel definition of the reinforcement learning state, actions and reward function that allows a deep Q-network (DQN) to learn to control an optimization hyperparameter. Using Q-learning with experience replay, we train two DQNs to accept a state representation of an objective function as input and output the expected discounted return of rewards, or q-values, connected to the actions of either adjusting the learning rate or leaving it unchanged. The two DQNs learn a policy similar to a line search, but differ in the number of allowed actions. The trained DQNs in combination with a gradient-based update routine form the basis of the Q-gradient descent algorithms. To demonstrate the viability of this framework, we show that the DQN's q-values associated with optimal action converge and that the Q-gradient descent algorithms outperform gradient descent with an Armijo or nonmonotone line search. Unlike traditional optimization methods, Q-gradient descent can incorporate any objective statistic and by varying the actions we gain insight into the type of learning rate adjustment strategies that are successful for neural network optimization.

研究动机与目标

• 开发一种基于强化学习的方法，动态控制神经网络优化过程中的学习率，减少对人工超参数调优的依赖。
• 定义一种专为控制优化超参数（如学习率）而设计的新颖强化学习形式化框架——包括状态、动作和奖励。
• 证明深度Q网络（DQN）可通过带有经验回放的Q学习，学习到有效且自适应的学习率策略。
• 将所提出的Q-梯度下降算法与传统线搜索方法（Armijo和非单调）在最小化神经网络目标函数方面的性能进行比较。
• 研究不同状态特征如何影响DQN的决策行为及其带来的优化表现。

提出的方法

• 状态表示基于泰勒展开和线搜索原理构建，编码目标值、梯度范数和对齐度量，以反映局部优化动态。
• 动作包括按因子减小学习率、保持不变，或在第二个变体中增加学习率，DQN输出每个动作的q值。
• 奖励函数设计用于反映向最小化目标函数推进的进展，改进时给予正奖励，退化时给予负奖励。
• 采用带有经验回放的Q学习训练两个DQN：一个动作受限（类似Armijo），另一个包含额外的增加动作，两者均学习最优动作值函数。
• 训练好的DQN被整合进一种混合算法——Q-梯度下降法，其中在每次迭代中指导学习率调整，与标准梯度更新相结合。
• 该框架在前馈神经网络的语音分类任务上进行评估，通过消融研究评估特征重要性及在不同模型和数据规模下的泛化能力。

实验结果

研究问题

• RQ1 深度Q网络能否以优于标准线搜索方法的方式学习控制学习率，从而提升优化性能？
• RQ2 不同状态特征（如目标值、梯度范数和对齐度量）如何影响DQN的策略及其最终优化结果？
• RQ3 Q-梯度下降算法是否能泛化到训练环境之外的更大模型和数据集？
• RQ4 DQN预测的q值如何收敛至真实奖励的折扣回报，从而体现策略学习的成功？
• RQ5 DQN发现了哪些类型的学习率调整策略，与经典线搜索启发式方法相比表现如何？

主要发现

• DQN对最优动作的q值收敛至真实奖励的折扣回报，为网络学习到稳定且准确的策略提供了实证证据。
• 采用DQN的Q-梯度下降法在性能上优于Armijo和非单调线搜索方法，在原始神经网络上达到1.91的最终目标值，而当特征被消融时该值更高。
• 当目标值特征设为零时，最终目标值上升至1.96，且学习率被减半的频率更高，表明DQN依赖该特征进行有效决策。
• 具有更多动作（包括学习率增加）的DQN展现出更复杂但稳定的训练曲线，尽管由于动作空间扩大，收敛速度慢于简化版本。
• Q-梯度下降法具有良好的泛化能力：在参数量为三倍大、数据量为三倍多的更大神经网络上表现更优，证明其对规模变化的鲁棒性。
• 消融研究证实，所有状态特征——目标值、梯度范数和对齐度量——对最优性能均至关重要，任一特征归零均导致性能下降。