[论文解读] SEERL: Sample Efficient Ensemble Reinforcement Learning

Rohan Saphal, Balaraman Ravindran+3 more|arXiv (Cornell University)|Jan 15, 2020

Reinforcement Learning in Robotics参考文献 35被引用 13

一句话总结

SEERL 提出了一种样本高效的深度强化学习框架，通过使用循环学习率对模型权重施加定向扰动，在单次训练中生成多样化且高性能的策略。该方法在 Atari 2600 和 MuJoCo 环境中实现了最先进性能，且相比以往的集成方法，样本和计算成本显著降低。

ABSTRACT

Ensemble learning is a very prevalent method employed in machine learning. The relative success of ensemble methods is attributed to their ability to tackle a wide range of instances and complex problems that require different low-level approaches. However, ensemble methods are relatively less popular in reinforcement learning owing to the high sample complexity and computational expense involved in obtaining a diverse ensemble. We present a novel training and model selection framework for model-free reinforcement algorithms that use ensembles of policies obtained from a single training run. These policies are diverse in nature and are learned through directed perturbation of the model parameters at regular intervals. We show that learning and selecting an adequately diverse set of policies is required for a good ensemble while extreme diversity can prove detrimental to overall performance. Selection of an adequately diverse set of policies is done through our novel policy selection framework. We evaluate our approach on challenging discrete and continuous control tasks and also discuss various ensembling strategies. Our framework is substantially sample efficient, computationally inexpensive and is seen to outperform state-of-the-art (SOTA) scores in Atari 2600 and Mujoco.

研究动机与目标

• 解决集成强化学习中训练多个独立策略所导致的高样本复杂度和计算成本问题。
• 开发一种方法，在不增加额外训练开销的前提下，从单次训练中生成多样化且高性能的策略。
• 设计一种策略选择框架，筛选出次优策略并形成最优集成以提升性能。
• 证明通过循环学习率实现的定向扰动对于有效策略多样性至关重要，而随机扰动则不然。
• 表明策略之间过度的多样性会降低集成性能，因此需要采用平衡的筛选策略。

提出的方法

• 通过周期性学习率在固定时间间隔对模型权重施加扰动，沿梯度方向引导移动，防止收敛至尖锐局部极小值。
• 从单个神经网络中以串行方式生成一系列多样化策略，避免了对多个并行训练运行的需求。
• 采用新颖的策略选择框架，基于训练期间的轨迹评估并选择最优策略子集。
• 利用状态间动作分布之间的 KL 散度来量化并验证策略多样性。
• 将该框架应用于基于策略（如 A2C）和非基于策略（如 SAC）的强化学习算法，证明其广泛适用性。
• 优化超参数，如策略数量（M）和最大学习率，以在多样性与性能之间取得平衡。

实验结果

研究问题

• RQ1 单次训练能否生成多样化策略集成，使其在强化学习中超越传统集成方法？
• RQ2 通过循环学习率对模型权重进行定向扰动，是否比随机扰动更有效提升策略多样性和性能？
• RQ3 策略多样性的最优水平是什么？过度的多样性是否会降低集成性能？
• RQ4 与简单的平均集成相比，所提出的策略选择框架在多大程度上提升了集成性能？
• RQ5 与 SUNRISE 等现有集成方法相比，SEERL 在样本效率方面达到了何种程度？

主要发现

• SEERL 在 Atari 2600 和 MuJoCo 环境中均超越了最先进方法，以显著更少的样本交互次数实现了最先进得分。
• 由于采用单网络、串行训练方法，该框架比 SUNRISE 快达 10 倍，后者需并行训练多个网络。
• 使用循环学习率实现的定向扰动，相比随机扰动，能生成显著更丰富且更有效的策略。
• 极端多样的策略会降低集成性能，证实多样性必须保持平衡，不能过度。
• 策略选择框架能有效筛选次优策略，通过选择高质量且互补的策略，显著提升集成性能。
• 当 M 在 3 到 7 之间时，SEERL 达到最优性能；M 值过高会导致每条策略的训练时间减少并降低结果。