[论文解读] Reconciling $λ$-Returns with Experience Replay

Brett Daley, Christopher Amato|arXiv (Cornell University)|Oct 23, 2018

Stochastic processes and financial applications被引用 8

一句话总结

该论文提出了一种新颖的方法，通过使用小型缓存预计算的 $λ$-returns 来高效地将 $λ$-returns 整合到具有经验回放的异策略深度强化学习中，替代目标网络并实现预采样时序差分误差分析。该方法通过基于真实时序差分误差的直接优先级排序和动态 $λ$-值选择，显著提升了 DQN 在 Atari 2600 游戏上的样本效率，即使在部分可观测环境下亦是如此。

ABSTRACT

Modern deep reinforcement learning methods have departed from the incremental learning required for eligibility traces, rendering the implementation of the $λ$-return difficult in this context. In particular, off-policy methods that utilize experience replay remain problematic because their random sampling of minibatches is not conducive to the efficient calculation of $λ$-returns. Yet replay-based methods are often the most sample efficient, and incorporating $λ$-returns into them is a viable way to achieve new state-of-the-art performance. Towards this, we propose the first method to enable practical use of $λ$-returns in arbitrary replay-based methods without relying on other forms of decorrelation such as asynchronous gradient updates. By promoting short sequences of past transitions into a small cache within the replay memory, adjacent $λ$-returns can be efficiently precomputed by sharing Q-values. Computation is not wasted on experiences that are never sampled, and stored $λ$-returns behave as stable temporal-difference (TD) targets that replace the target network. Additionally, our method grants the unique ability to observe TD errors prior to sampling; for the first time, transitions can be prioritized by their true significance rather than by a proxy to it. Furthermore, we propose the novel use of the TD error to dynamically select $λ$-values that facilitate faster learning. We show that these innovations can enhance the performance of DQN when playing Atari 2600 games, even under partial observability. While our work specifically focuses on $λ$-returns, these ideas are applicable to any multi-step return estimator.

研究动机与目标

• 解决深度强化学习中 $λ$-returns 与小批量经验回放之间的不兼容性问题。
• 通过使用缓存的预计算 $λ$-returns 机制，消除对目标网络的依赖。
• 实现基于实际时序差分误差大小的直接、预采样过渡优先级排序，而非依赖代理指标。
• 探索基于时序差分误差的动态 $λ$-值选择，以加速异策略算法的学习。
• 在部分可观测性和标准回放设置下，提升 DQN 的样本效率和训练速度。

提出的方法

• 在经验回放缓冲区中引入一个小型、定期刷新的缓存，使用递归计算存储预计算的 $λ$-returns。
• 使用缓存中的 $λ$-returns 作为稳定的时间差分目标，替代目标网络。
• 通过在缓存中相邻过渡之间共享 Q 值计算，以极低开销高效预计算 $λ$-returns。
• 通过在经验回放缓冲区中与过渡一同存储时序差分误差，实现在采样前观察到这些误差。
• 基于真实时序差分误差的大小对过渡进行优先级排序，而非依赖代理度量。
• 在训练过程中基于时序差分误差的大小动态选择 $λ$-值，以加速学习。

实验结果

研究问题

• RQ1 能否在不依赖异步更新或目标网络的情况下，高效地将 $λ$-returns 整合到具有经验回放的异策略深度强化学习中？
• RQ2 与使用目标网络的标准 DQN 相比，通过缓存预计算 $λ$-returns 是否能提升样本效率？
• RQ3 在采样前观察到的时序差分误差，是否能比基于代理的优先经验回放方法更有效地实现优先级排序？
• RQ4 基于时序差分误差的动态 $λ$-值选择是否能带来更快的学习速度和更优的性能表现？
• RQ5 在部分可观测环境下（信用分配更具挑战性），该方法的表现如何？

主要发现

• 在测试的六款 Atari 2600 游戏中，采用 $λ$-returns 和所提缓存机制的 DQN 均优于标准 DQN，尤其在 Breakout 和 Space Invaders 游戏中使用 $λ = 0.25$ 或 $0.5$ 时取得显著提升。
• 在六款游戏中的五款中，该方法的训练完成时间快于基于目标网络的基线模型，表明计算效率更高。
• 基于真实时序差分误差大小的优先级排序，相比基于代理的优先级排序，实现了更优的样本效率，因为该方法可直接在采样前观察到损失贡献。
• 动态 $λ$-值选择在所有环境中均达到或超越了最佳人工调优的 $λ$-值，且无需手动调参。
• 在部分可观测性（1帧输入）条件下，性能增益依然保持，表明对延迟或不完整状态信息具有鲁棒性。
• 该方法可推广至任意多步回报估计器，并可应用于 DQN 之外的多种异策略算法。