[论文解读] On the role of planning in model-based deep reinforcement learning

Jessica B. Hamrick, Abram L. Friesen+8 more|arXiv (Cornell University)|May 3, 2021

Reinforcement Learning in Robotics参考文献 68被引用 26

一句话总结

本文通过在多样化环境中分析MuZero，研究了规划在基于模型的深度强化学习（MBRL）中的作用。研究发现，规划显著提升了学习效率和数据质量，使用蒙特卡洛滚动的浅层树极为有效，而仅靠规划本身不足以实现强大的泛化能力。

ABSTRACT

Model-based planning is often thought to be necessary for deep, careful reasoning and generalization in artificial agents. While recent successes of model-based reinforcement learning (MBRL) with deep function approximation have strengthened this hypothesis, the resulting diversity of model-based methods has also made it difficult to track which components drive success and why. In this paper, we seek to disentangle the contributions of recent methods by focusing on three questions: (1) How does planning benefit MBRL agents? (2) Within planning, what choices drive performance? (3) To what extent does planning improve generalization? To answer these questions, we study the performance of MuZero (Schrittwieser et al., 2019), a state-of-the-art MBRL algorithm with strong connections and overlapping components with many other MBRL algorithms. We perform a number of interventions and ablations of MuZero across a wide range of environments, including control tasks, Atari, and 9x9 Go. Our results suggest the following: (1) Planning is most useful in the learning process, both for policy updates and for providing a more useful data distribution. (2) Using shallow trees with simple Monte-Carlo rollouts is as performant as more complex methods, except in the most difficult reasoning tasks. (3) Planning alone is insufficient to drive strong generalization. These results indicate where and how to utilize planning in reinforcement learning settings, and highlight a number of open questions for future MBRL research.

研究动机与目标

• 理解规划在基于模型的深度强化学习（MBRL）智能体成功中的作用。
• 识别规划中哪些组件（如树深度或滚动策略）对性能影响最大。
• 评估规划是否能实现在未见过环境中的强泛化能力。
• 将规划的贡献与最先进的MBRL算法（如MuZero）中的其他组件（如世界模型、策略优化等）分离开来。

提出的方法

• 作者对最先进的MBRL算法MuZero进行了系统的消融实验和干预操作，该算法在架构和功能上与其它MBRL方法有广泛重叠。
• 他们在控制任务、Atari游戏和9x9围棋等环境中，对规划组件（包括树深度、滚动策略（如蒙特卡洛与值引导式）以及规划频率）进行修改。
• 通过学习效率、最终智能体性能以及对未见环境的泛化能力来评估性能表现。
• 研究采用统一框架，将规划的影响与模型学习、策略优化和探索机制的影响分离开来。
• 干预措施包括完全禁用规划、用浅层树替代复杂规划，以及使用随机滚动替代学习到的值估计。
• 实验在涵盖连续控制、离散控制和棋盘游戏的多样化基准上进行，以评估在不同领域中的鲁棒性。

实验结果

研究问题

• RQ1 规划在基于模型的深度强化学习训练过程中具体如何发挥作用？
• RQ2 规划机制中的哪些方面（如树深度或滚动策略）对性能影响最为显著？
• RQ3 规划在多大程度上提升了对分布外环境的泛化能力？
• RQ4 更简单的规划机制是否能与更复杂的机制达到相当的性能，以及在何种条件下可以实现？

主要发现

• 规划在学习阶段最具价值，能改善策略更新，并塑造对训练更有用的数据分布。
• 使用简单蒙特卡洛滚动的浅层树在性能上可与复杂规划方法相媲美，除非在最困难的推理任务中。
• 仅靠规划不足以实现强泛化，表明世界模型容量或探索机制等其他组件至关重要。
• 规划带来的性能增益在训练初期最为显著，表明其作为强信用分配和数据增强机制的作用。
• 在需要深度推理的环境中（如9x9围棋），更复杂的规划策略相比简单滚动具有可测量的优势。
• 结果表明，规划的主要价值在于提升样本效率和策略学习能力，而非内在的推理能力。