[论文解读] The Effects of Memory Replay in Reinforcement Learning

Ruishan Liu, James Zou|arXiv (Cornell University)|Oct 18, 2017

Reinforcement Learning in Robotics参考文献 14被引用 6

一句话总结

本文提出一个动力系统ODE模型，用于分析Q-learning中的经验回放，揭示记忆缓冲区大小对学习速度具有非单调影响——记忆过少或过多都会减缓学习。研究进一步表明，优先经验回放可能损害性能，并提出一种自适应记忆缓冲区算法，可提升学习的一致性。

ABSTRACT

Experience replay is a key technique behind many recent advances in deep reinforcement learning. Allowing the agent to learn from earlier memories can speed up learning and break undesirable temporal correlations. Despite its wide-spread application, very little is understood about the properties of experience replay. How does the amount of memory kept affect learning dynamics? Does it help to prioritize certain experiences? In this paper, we address these questions by formulating a dynamical systems ODE model of Q-learning with experience replay. We derive analytic solutions of the ODE for a simple setting. We show that even in this very simple setting, the amount of memory kept can substantially affect the agent's performance. Too much or too little memory both slow down learning. Moreover, we characterize regimes where prioritized replay harms the agent's learning. We show that our analytic solutions have excellent agreement with experiments. Finally, we propose a simple algorithm for adaptively changing the memory buffer size which achieves consistently good empirical performance.

研究动机与目标

• 理解记忆缓冲区大小如何影响经验回放中学习动力学，这是深度强化学习中的关键技术。
• 探究优先经验回放是否始终改善学习，或在某些情况下可能产生负面影响。
• 构建一个理论模型，以捕捉学习过程中因过度修正和权重更新速度之间的权衡。
• 通过实验验证理论预测，并推导出一种实用的自适应记忆缓冲区算法。

提出的方法

• 构建一个连续时间ODE模型，用于描述带经验回放的Q-learning，以分析学习动力学。
• 在简单的双参数设置下推导ODE的解析解，以量化记忆大小对学习速率的影响。
• 引入过度修正（因记忆不足）与权重更新缓慢（因记忆过多）之间的权衡分析。
• 将模型扩展至包含优先经验回放，并分析其对收敛速度的影响。
• 通过在不同记忆大小和批量大小下进行的实证实验，验证理论预测。
• 提出一种自适应经验回放（aER）算法，可在训练过程中动态调整缓冲区大小，以维持最佳性能。

实验结果

研究问题

• RQ1 经验回放缓冲区的大小如何影响Q-learning中的学习速率和收敛速度？
• RQ2 优先经验回放是否总是改善学习，还是在某些条件下会降低性能？
• RQ3 记忆大小影响经验回放中学习动力学的潜在机制是什么？
• RQ4 记忆大小对学习的非单调效应能否通过连续动力系统模型捕捉并解释？
• RQ5 能否设计一种自适应记忆缓冲区大小策略，以在不同学习环境下保持高性能？

主要发现

• 记忆缓冲区大小对学习速度具有非单调影响：记忆过少或过多都会减缓学习，最优大小在所研究设置下约为250。
• 当记忆大小和批量大小较小时，优先经验回放可能因加剧过度修正和不稳定的权重更新而损害学习。
• 理论ODE解与实验结果高度一致，验证了该模型在预测学习动力学方面的准确性。
• 由于状态单向移动，最终权重偏差Δθ₂趋近于非零值，因此理论极限的小值对性能至关重要。
• 自适应经验回放（aER）算法通过在训练过程中动态调整缓冲区大小，持续提升学习性能。
• 即使在无函数逼近误差的情况下，记忆大小仍对学习产生关键影响，表明数据重用与时间相关性打破之间存在非平凡的权衡。