[论文解读] Organizing Experience: A Deeper Look at Replay Mechanisms for Sample-based Planning in Continuous State Domains

Yangchen Pan, Muhammad Zaigham Zaheer+3 more|arXiv (Cornell University)|Jun 12, 2018

Machine Learning and Algorithms参考文献 11被引用 10

一句话总结

本文提出 REM-Dyna，一种基于模型的强化学习方法，通过使用重加权经验模型（REMs）高效采样前驱状态和在线策略转移，从而提升连续状态空间中的基于样本的规划。实验表明，REM-Dyna 在随机性和高维连续领域中显著优于经验回放及其他基于模型的基线方法，通过智能选择状态实现更高效、更节省数据的规划。

ABSTRACT

Model-based strategies for control are critical to obtain sample efficient learning. Dyna is a planning paradigm that naturally interleaves learning and planning, by simulating one-step experience to update the action-value function. This elegant planning strategy has been mostly explored in the tabular setting. The aim of this paper is to revisit sample-based planning, in stochastic and continuous domains with learned models. We first highlight the flexibility afforded by a model over Experience Replay (ER). Replay-based methods can be seen as stochastic planning methods that repeatedly sample from a buffer of recent agent-environment interactions and perform updates to improve data efficiency. We show that a model, as opposed to a replay buffer, is particularly useful for specifying which states to sample from during planning, such as predecessor states that propagate information in reverse from a state more quickly. We introduce a semi-parametric model learning approach, called Reweighted Experience Models (REMs), that makes it simple to sample next states or predecessors. We demonstrate that REM-Dyna exhibits similar advantages over replay-based methods in learning in continuous state problems, and that the performance gap grows when moving to stochastic domains, of increasing size.

研究动机与目标

• 为解决经验回放在连续和随机强化学习领域中的局限性，提出一种基于模型的替代方法，以提升样本效率。
• 开发一种数据高效、增量式且可扩展的模型学习方法，适用于连续状态空间中的一步规划。
• 研究搜索控制策略（如前驱状态采样、在线策略采样和时效性优先）对 Dyna 类算法规划性能的影响。
• 在表格状态和连续状态设置下，对比基于 Dyna 的规划与经验回放，明确模型规划在何种情况下具有优势及其原因。
• 评估不同模型类型（线性模型、神经网络、REMs）在函数逼近下对支持 Dyna 类规划的有效性。

提出的方法

• 提出重加权经验模型（REMs），一种半参数模型，通过少量原型和可学习系数来学习条件化的下一状态和奖励分布。
• 采用条件独立性假设以简化模型学习，从而高效计算下一状态和前驱状态的分布。
• 基于时序差分误差设计简单的 REM 系数学习规则，实现无需完整微调的增量更新。
• 在 Dyna 类规划框架中应用 REMs，其中智能体从状态和动作的搜索控制队列中采样，优先选择高 TD 误差状态的前驱状态。
• 在搜索控制队列中实施在线策略采样和基于时效性的剪枝策略，以提升数据相关性并减少分布偏移。
• 在包括 Gridworld 和 River Swim 在内的表格状态和连续状态环境中，将 REM-Dyna 与经验回放及其他基于模型的基线方法进行比较。

实验结果

研究问题

• RQ1 在一步规划中，通过采样高优先级状态的前驱状态来引导状态选择，是否能提升连续 MDP 中的样本效率？
• RQ2 不同模型类型（线性模型、神经网络、REMs）在连续和随机领域中对 Dyna 类规划性能有何影响？
• RQ3 在何种条件下，结合智能搜索控制的 Dyna 类规划优于经验回放？原因是什么？
• RQ4 在函数逼近下，模型学习中的数据效率在多大程度上影响 Dyna 类规划的有效性？
• RQ5 在非平稳或随机环境中，设计选择（如时效性、优先级、在线策略采样）如何影响规划算法的性能？

主要发现

• REMDyna 在连续 Gridworld 和 River Swim 环境中均取得更优性能，显著优于所有经验回放变体及其他基于模型的基线方法。
• 在 River Swim 中，所有经验回放变体在 20,000 步内均未达到最优回报的 85%，而所有 REM-Dyna 变体均实现了该目标，其中前驱状态采样变体表现最佳。
• 线性 Dyna 表现欠佳，原因在于模型精度低且对学习率调节高度敏感，表明性能提升主要源于 Q-learning 更新，而非有效规划。
• 神经网络模型早期表现不佳，因数据效率差，仅在数万步后才开始改善，凸显了在 Dyna 框架中使用数据高效模型的必要性。
• REMDyna 中使用前驱状态和在线策略转移显著加快了学习速度并提升了样本效率，尤其在随机领域中优势明显。
• 在搜索控制队列中基于时效性删除样本的策略，在 Dyna 和 ER 中均优于基于优先级的删除策略，表明在非平稳环境中，近期经验比高 TD 误差样本更具价值。