[论文解读] RBED: Reward Based Epsilon Decay

Aakash Maroti|arXiv (Cornell University)|Oct 30, 2019

Reinforcement Learning in Robotics参考文献 3被引用 5

一句话总结

本文提出基于奖励的ε衰减（RBED），一种强化学习中的动态探索策略，仅在智能体超过逐步提高的奖励阈值时才降低ε-greedy探索率。与固定的指数衰减不同，RBED根据智能体表现自适应调整，实现更稳定可靠的训练，相较于标准衰减方式，在500集内解决OpenAI的CartPole-v0环境的性能提升了500%。

ABSTRACT

$\varepsilon$-greedy is a policy used to balance exploration and exploitation in many reinforcement learning setting. In cases where the agent uses some on-policy algorithm to learn optimal behaviour, it makes sense for the agent to explore more initially and eventually exploit more as it approaches the target behaviour. This shift from heavy exploration to heavy exploitation can be represented as decay in the $\varepsilon$ value, where $\varepsilon$ depicts the how much an agent is allowed to explore. This paper proposes a new approach to this $\varepsilon$ decay where the decay is based on feedback from the environment. This paper also compares and contrasts one such approach based on rewards and compares it against standard exponential decay. The new approach, in the environments tested, produces more consistent results that on average perform better.

研究动机与目标

• 解决强化学习中固定调度式ε衰减的局限性，该方法未考虑智能体的实际表现或学习进度。
• 通过使ε衰减依赖于环境反馈和智能体成就，减少对专家调优超参数的依赖。
• 通过仅在智能体表现出可测量进展时才衰减探索，提升学习的稳定性和可复现性。
• 使学习速度各异的智能体能够基于表现而非训练集数实现相似水平的利用。

提出的方法

• 该方法引入一个起始较低的奖励阈值，当智能体超过该阈值后，阈值逐步提升，触发ε的降低。
• 每次阈值跨越时，ε以固定步长衰减，衰减量计算为 (initial_ε - minimum_ε) / total_steps_to_target，确保衰减过程平滑。
• 衰减机制与训练集数解耦，转而由累积奖励表现驱动，使其能够自适应智能体能力。
• 该算法采用反馈回路机制：若最近一集的奖励达到或超过当前阈值，则降低ε并提升阈值。
• 该方法应用于CartPole-v0环境中基于Neural Episodic Controller和Deep Q-Network（DQN）的智能体。
• 该方法将标准的指数衰减（ε *= decay_rate）替换为基于奖励阈值的性能驱动更新规则。

实验结果

研究问题

• RQ1 与固定指数衰减相比，基于奖励的ε衰减策略是否能提升强化学习中的学习稳定性和解决方案可靠性？
• RQ2 将ε衰减与训练集数解耦，并基于实际智能体表现进行衰减，是否能提升在不同学习速度智能体间的泛化能力？
• RQ3 RBED在多大程度上减少了ε-greedy探索策略中对专家超参数调优的需求？
• RQ4 在CartPole-v0环境中，RBED与指数衰减相比，在收敛速度和最终性能方面表现如何？
• RQ5 基于性能的衰减是否能带来更一致且可复现的训练结果？

主要发现

• 在使用Neural Episodic Controller时，RBED在500集内解决CartPole-v0环境的性能相比标准指数衰减提升了超过500%。
• 尽管指数衰减早期达到峰值奖励，但难以维持高性能，且很少成功解决环境，而RBED则表现更优。
• RBED产生了更稳定、更一致的学习曲线，显著提高了跨越解决环境所需195分阈值的可能性。
• 在基于DQN的训练中，RBED在所有指标上均优于指数衰减，包括最后100集的平均奖励。
• 最后100集的平均奖励显示，RBED在长期趋势上更趋近于解决方案，证实其在实现稳定性能方面的有效性。
• RBED下的ε衰减曲线表现出更强的自适应性和性能驱动特性，相比固定指数衰减，其突变更少。