[论文解读] Where Did My Optimum Go?: An Empirical Analysis of Gradient Descent Optimization in Policy Gradient Methods

Peter Henderson, Joshua Romoff+1 more|arXiv (Cornell University)|Oct 5, 2018

Reinforcement Learning in Robotics参考文献 11被引用 16

一句话总结

本文通过实验研究了不同梯度下降优化器及其超参数在连续控制任务的策略梯度方法中的影响。研究发现，自适应优化器（如Adam）的有效学习率范围较窄，且容易发散；而动量的效果在很大程度上依赖于环境动力学，表明在深度强化学习中，来自并行训练的隐式动量会复杂化优化器的行为。

ABSTRACT

Recent analyses of certain gradient descent optimization methods have shown that performance can degrade in some settings - such as with stochasticity or implicit momentum. In deep reinforcement learning (Deep RL), such optimization methods are often used for training neural networks via the temporal difference error or policy gradient. As an agent improves over time, the optimization target changes and thus the loss landscape (and local optima) change. Due to the failure modes of those methods, the ideal choice of optimizer for Deep RL remains unclear. As such, we provide an empirical analysis of the effects that a wide range of gradient descent optimizers and their hyperparameters have on policy gradient methods, a subset of Deep RL algorithms, for benchmark continuous control tasks. We find that adaptive optimizers have a narrow window of effective learning rates, diverging in other cases, and that the effectiveness of momentum varies depending on the properties of the environment. Our analysis suggests that there is significant interplay between the dynamics of the environment and Deep RL algorithm properties which aren't necessarily accounted for by traditional adaptive gradient methods. We provide suggestions for optimal settings of current methods and further lines of research based on our findings.

研究动机与目标

• 研究不同梯度下降优化器对深度强化学习中策略梯度性能的影响。
• 考察学习率和动量超参数在优化策略梯度方法中的作用。
• 识别自适应优化器（如Adam和RMSProp）在随机、非独立同分布的强化学习设置下的失败模式。
• 探究同步多工作节点训练设置中隐式动量的存在及其对优化稳定性的影响。
• 为PPO和A2C算法中的优化器选择与超参数调优提供实用建议。

提出的方法

• 在连续控制基准测试上，对PPO和A2C算法中的11种梯度下降优化器（SGD、Adam、RMSProp、Adamax、AMSGrad等）进行实证评估。
• 通过消融研究，在多个环境（Ant、HalfCheetah、Hopper、Reacher、Walker2d）中变化学习率和动量值。
• 使用不同工作节点与步数比例的同步多工作节点训练设置，以探测隐式动量效应。
• 通过随机智能体基线对性能进行归一化，以实现跨环境比较。
• 通过分析10个随机种子的学习曲线和回报，评估稳定性和方差。
• 以平均回报和标准差报告结果，并通过归一化性能图可视化相对收益。

实验结果

研究问题

• RQ1 在PPO和A2C中的标准连续控制环境中，不同自适应优化器的表现如何？
• RQ2 在策略梯度训练中，Adam和RMSProp等自适应优化器的最佳学习率范围是什么？
• RQ3 动量如何影响学习性能？其有效性是否因环境而异？
• RQ4 在同步多工作节点训练设置中，隐式动量在多大程度上引入并影响优化器的稳定性？
• RQ5 传统的自适应梯度方法能否在深度强化学习中可靠应用，还是由于动态损失曲面和延迟梯度而失效？

主要发现

• 自适应优化器（如Adam和RMSProp）的有效学习率窗口较窄，且在此范围外常发生发散。
• 基于动量的优化器（如带Nesterov动量的SGD）在不同环境中的表现差异显著，最优值取决于任务动力学。
• 在同步训练中，工作节点与步数比例越高，越可能出现噪声趋势，表明存在隐式动量，尤其在某些环境中对低动量值有显著益处。
• 表现最佳的配置通常在高并行设置中采用较低动量（例如0.11–0.33），表明采样偏差引起的隐式动量会影响优化过程。
• 在8/10的设置中，PPO结合SGD与低动量（0.11–0.33）实现了最高的归一化回报，尤其在高工作节点配置下表现突出。
• 使用Adam和高动量（0.99）时，性能常显著下降，某些情况下回报甚至低于随机基线（例如Walker2d中32个工作节点时，回报为171 vs. 随机基线209）。