[论文解读] Understanding and Mitigating the Limitations of Prioritized Experience Replay

Yangchen Pan, Jincheng Mei+5 more|arXiv (Cornell University)|Jul 19, 2020

Age of Information Optimization被引用 6

一句话总结

本文从理论上揭示了优先经验回放（PER）为何能提升强化学习中的学习效率，指出了其两大关键局限：优先级过时和状态空间覆盖不足。为解决这些问题，作者提出一种基于模型的随机梯度朗之万动力学（SGLD）采样方法，生成更具代表性的虚拟经验，显著提升了离散与连续控制任务中的样本效率和收敛性，包括自动驾驶场景。

ABSTRACT

Prioritized Experience Replay (ER) has been empirically shown to improve sample efficiency across many domains and attracted great attention; however, there is little theoretical understanding of why such prioritized sampling helps and its limitations. In this work, we take a deep look at the prioritized ER. In a supervised learning setting, we show the equivalence between the error-based prioritized sampling method for mean squared error and uniform sampling for cubic power loss. We then provide theoretical insight into why it improves convergence rate upon uniform sampling during early learning. Based on the insight, we further point out two limitations of the prioritized ER method: 1) outdated priorities and 2) insufficient coverage of the sample space. To mitigate the limitations, we propose our model-based stochastic gradient Langevin dynamics sampling method. We show that our method does provide states distributed close to an ideal prioritized sampling distribution estimated by the brute-force method, which does not suffer from the two limitations. We conduct experiments on both discrete and continuous control problems to show our approach's efficacy and examine the practical implication of our method in an autonomous driving application.

研究动机与目标

• 从理论上理解为何优先经验回放（PER）能提升强化学习中的学习收敛速度与样本效率。
• 识别并分析PER的两个关键局限：优先级过时与状态空间覆盖不足。
• 提出一种基于模型的采样方法，通过生成更具代表性的虚拟经验来缓解上述局限。
• 在基准控制环境及真实世界自动驾驶应用中验证所提方法的有效性。

提出的方法

• 作者建立了在监督学习设定下，基于误差的优先采样（用于均方误差）与用于立方损失的均匀采样之间的理论等价性。
• 提出一种基于模型的随机梯度朗之万动力学（SGLD）采样方法，利用学习到的环境模型模拟并基于估计的TD误差对状态进行优先级排序。
• 通过注入噪声的梯度上升法在绝对TD误差上执行爬山搜索，并借助经验协方差矩阵引导探索，以覆盖多样化状态。
• 维护一个生成的虚拟经验搜索-控制队列，并在训练过程中将这些虚拟经验与回放缓冲区中的真实经验混合使用。
• 根据近期状态转移动态调整新状态的接受阈值，以提升探索能力并避免陷入局部极小值。
• 该方法被整合进Dyna-TD框架中，利用真实与模拟经验共同更新Q网络，并通过目标网络更新保证稳定性。

实验结果

研究问题

• RQ1 为何在早期学习阶段，优先经验回放相比均匀采样能实现更快的收敛速度？
• RQ2 优先经验回放的根本理论局限是什么，导致其性能受限？
• RQ3 如何生成更接近理想优先采样分布的虚拟经验，同时避免优先级过时与覆盖不足的问题？
• RQ4 基于模型的SGLD采样策略是否能在多样化的强化学习环境中，实现比标准PER更高的样本效率与最终性能？

主要发现

• 所提出的基于SGLD的采样方法生成的虚拟经验，其分布与理想优先采样分布的接近程度显著优于标准PER，如与暴力基线相比的度量结果所示。
• 在离散控制任务（如CartPole、LunarLander）中，该方法相比标准PER及其他基线方法，实现了更快的收敛速度与更高的最终性能。
• 在连续控制基准测试（Hopper、Walker2d）中，该方法在样本效率与最终回报方面均表现出一致的提升，学习曲线更优。
• 在自动驾驶应用（roundabout-v0）中，该方法减少了训练样本需求并提升了策略泛化能力，展示了在复杂真实场景中的实际应用价值。
• 消融实验确认，优先级过时与覆盖不足是PER性能下降的主要原因，而所提方法能有效缓解这两方面问题。