[论文解读] The Effect of Planning Shape on Dyna-style Planning in High-dimensional State Spaces

Gerhard Holland, Erik Talvitie+1 more|arXiv (Cornell University)|Jun 5, 2018

Reinforcement Learning in Robotics参考文献 22被引用 26

一句话总结

本文研究了规划形状——特别是展开长度——对高维Atari环境中Dyna风格基于模型强化学习有效性的影响。研究发现，较长且次数较少的展开能够生成更多新颖的经验，在使用完美模型或学习到的模型时，其样本效率显著优于单步展开，即使在模型完美或已学习的情况下也是如此，表明规划形状是复杂领域中基于模型强化学习的关键设计因素。

ABSTRACT

Dyna is a fundamental approach to model-based reinforcement learning (MBRL) that interleaves planning, acting, and learning in an online setting. In the most typical application of Dyna, the dynamics model is used to generate one-step transitions from selected start states from the agent's history, which are used to update the agent's value function or policy as if they were real experiences. In this work, one-step Dyna was applied to several games from the Arcade Learning Environment (ALE). We found that the model-based updates offered surprisingly little benefit over simply performing more updates with the agent's existing experience, even when using a perfect model. We hypothesize that to get the most from planning, the model must be used to generate unfamiliar experience. To test this, we experimented with the "shape" of planning in multiple different concrete instantiations of Dyna, performing fewer, longer rollouts, rather than many short rollouts. We found that planning shape has a profound impact on the efficacy of Dyna for both perfect and learned models. In addition to these findings regarding Dyna in general, our results represent, to our knowledge, the first time that a learned dynamics model has been successfully used for planning in the ALE, suggesting that Dyna may be a viable approach to MBRL in the ALE and other high-dimensional problems.

研究动机与目标

• 研究规划形状——特别是展开长度和频率——对高维状态空间中Dyna风格基于模型强化学习性能的影响。
• 确定在Arcade Learning Environment（ALE）这一基于模型强化学习的挑战性领域中，使用学习到的动力学模型进行基于模型的规划是否能提供样本效率优势。
• 探讨通过更长展开生成不熟悉经验是否对实现基于模型规划的优势至关重要。
• 评估不同价值函数学习器、预训练模型和在线学习模型下规划形状的鲁棒性。
• 为未来实践者提供实用指导，说明如何在计算资源有限的情况下，通过合理设计规划结构来最大化Dyna风格智能体的性能。

提出的方法

• 在ALE中应用Dyna风格规划，使用基于DQN的智能体结合动力学模型，从智能体最近经验缓冲区中的状态生成模拟展开。
• 比较多种规划形状：单步展开（标准Dyna-Q）与更长但更少的展开（例如5–10步），以评估其对学习效率的影响。
• 使用完美模型（真实环境动力学）和在线训练的价值函数同步学习的动力学模型，以评估在不同模型准确度下的性能表现。
• 使用标准ALE评估协议和样本效率指标，在六款Atari游戏中（例如Ms. Pac-Man、Seaquest、Asterix）评估性能表现。
• 监控模型可靠性与展开质量，以理解模型不完善性如何影响规划有效性，特别是在长展开中的表现。
• 探索使用生成模型（如VAE或GAN）作为潜在方法，以识别有前景但未访问的状态用于规划，尽管本研究未实际实现该方法。

实验结果

研究问题

• RQ1 在高维Atari环境中，规划形状——特别是展开长度——是否显著影响Dyna风格基于模型强化学习的样本效率？
• RQ2 在Dyna风格规划中，使用学习到的动力学模型是否能在ALE中提供样本效率优势？若能，其适用条件是什么？
• RQ3 基于模型规划的主要优势是否源于生成新颖、不熟悉的经验？该优势是否依赖于展开长度？
• RQ4 规划性能如何随模型质量变化？最优规划形状是否依赖于模型可靠性？
• RQ5 即使模型不完美，更长的展开是否能更有效地利用更准确的模型？与增加单步更新次数相比，其效果是否更优？

主要发现

• 较长且次数较少的展开（例如5–10步）在Dyna风格规划中显著优于单步展开，即使使用完美模型，表明规划形状是关键设计因素。
• 当使用单步展开时，基于模型规划的优势微乎其微，因为生成的经验与智能体已有真实经验过于相似，对性能提升有限，甚至不如额外的无模型更新。
• 在使用完美模型时，更长的展开带来了显著的样本效率提升，证明当模型能生成不熟悉且多样的经验时，其价值才能被最大化。
• 即使使用在线学习的模型（存在不完美性），更长的展开仍优于单步展开；在三款游戏中（Asterix、Seaquest、Ms. Pac-Man），学习到的模型表现优于额外更新的DQN。
• 由于模型可靠性问题，使用不完美模型时最优展开长度难以预测，提示需要采用自适应规划策略，在展开过程中监控模型准确性。
• 据作者所知，本研究首次成功展示了在ALE中通过学习和规划动力学模型实现样本复杂度优势，凸显了Dyna风格方法在高维领域中的可行性。