[论文解读] Reconciling $\lambda$-Returns with Experience Replay

Brett Daley, Christopher Amato|arXiv (Cornell University)|Oct 23, 2018

Reinforcement Learning in Robotics参考文献 39被引用 4

一句话总结

本文提出一种高效整合 $λ$-returns 到基于回放缓冲的深度强化学习的方法，通过缓存近期过渡并利用共享 Q 值预计算 $λ$-returns。该方法实现了稳定、样本高效的训练，支持动态 $λ$-值自适应与基于真实 TD 误差的优先级排序，显著提升了在部分可观察环境下的 DQN 在 Atari 2600 游戏上的性能。

ABSTRACT

Modern deep reinforcement learning methods have departed from the incremental learning required for eligibility traces, rendering the implementation of the $\lambda$-return difficult in this context. In particular, off-policy methods that utilize experience replay remain problematic because their random sampling of minibatches is not conducive to the efficient calculation of $\lambda$-returns. Yet replay-based methods are often the most sample efficient, and incorporating $\lambda$-returns into them is a viable way to achieve new state-of-the-art performance. Towards this, we propose the first method to enable practical use of $\lambda$-returns in arbitrary replay-based methods without relying on other forms of decorrelation such as asynchronous gradient updates. By promoting short sequences of past transitions into a small cache within the replay memory, adjacent $\lambda$-returns can be efficiently precomputed by sharing Q-values. Computation is not wasted on experiences that are never sampled, and stored $\lambda$-returns behave as stable temporal-difference (TD) targets that replace the target network. Additionally, our method grants the unique ability to observe TD errors prior to sampling; for the first time, transitions can be prioritized by their true significance rather than by a proxy to it. Furthermore, we propose the novel use of the TD error to dynamically select $\lambda$-values that facilitate faster learning. We show that these innovations can enhance the performance of DQN when playing Atari 2600 games, even under partial observability. While our work specifically focuses on $\lambda$-returns, these ideas are applicable to any multi-step return estimator.

研究动机与目标

• 解决 off-policy 深度强化学习中 $λ$-returns 与经验回放之间的不兼容性，其中随机采样会破坏增量 eligibility trace 的计算。
• 在不依赖异步更新或其他去相关机制的前提下，实现基于回放方法的 $λ$-returns 高效、无浪费计算。
• 允许基于真实时序差分（TD）误差而非代理度量对过渡进行优先级排序，从而提升样本效率。
• 引入基于学习动态实时调整 $λ$ 值的动态 $λ$-值选择机制，以加速收敛。
• 证明 $λ$-returns 可在部分可观察环境中有效使用，从而在具有挑战性的强化学习基准中提升性能。

提出的方法

• 在回放缓冲中引入一个小缓存，用于存储近期过渡，通过复用共享 Q 值估计，实现相邻 $λ$-returns 的高效计算。
• $λ$-returns 在回放缓冲中预先计算并存储，作为稳定的时序差分（TD）目标，从而替代目标网络的需要。
• 计算仅限于可能被采样的经验，避免无谓的重复计算。
• 该方法使在采样前即可观测到 TD 误差，从而实现基于实际学习重要性的优先级排序，而非依赖代理度量。
• 提出一种新颖的动态 $λ$-值选择机制，利用 TD 误差的大小实时调整 $λ$，以加速学习。
• 该框架具有通用性，可适用于任何多步回报估计器，不限于 $λ$-returns。

实验结果

研究问题

• RQ1 能否在不依赖异步更新或额外去相关技术的前提下，高效计算基于回放的深度强化学习中的 $λ$-returns？
• RQ2 如何以避免冗余计算并利用共享 Q 值的方式，预先计算并存储 $λ$-returns？
• RQ3 能否基于真实 TD 误差对经验回放中的过渡进行优先级排序，从而在样本效率上超越代理度量？
• RQ4 能否基于 TD 误差大小实现动态 $λ$-值自适应，从而带来更快的学习速度和更好的性能？
• RQ5 该方法在部分可观察环境（如 Atari 2600 游戏）中能多大程度上提升性能？

主要发现

• 所提方法可在无需异步更新或目标网络的情况下，实用化地应用 $λ$-returns 到经验回放中，实现稳定学习并减少计算浪费。
• 预计算的 $λ$-returns 作为稳定的 TD 目标，替代了目标网络的需求，提升了训练稳定性。
• 可基于实际 TD 误差大小对过渡进行优先级排序，相比基于代理度量的方法，实现了更有效的样本利用。
• 基于 TD 误差的动态 $λ$-值选择可加速学习，并在 Atari 2600 游戏上提升性能。
• 该方法在部分可观察环境下亦能增强 DQN 性能，展现出在具有挑战性环境中的鲁棒性。
• 该框架具有通用性，适用于任何多步回报估计器，其适用范围不仅限于 $λ$-returns。