[论文解读] Online and Offline Reinforcement Learning by Planning with a Learned Model

Julian Schrittwieser, Thomas Hubert+4 more|arXiv (Cornell University)|Apr 13, 2021

Reinforcement Learning in Robotics参考文献 31被引用 26

一句话总结

本论文介绍 Reanalyse，一种基于模型的规划技术，通过学习模型改进训练目标，使 MuZero 能在在线、离线和演示驱动数据 regime 下有效运行，最终推出 MuZero Unplugged，在在线的 Atari 和离线 RL 基准测试中均达到最先进水平。

ABSTRACT

Learning efficiently from small amounts of data has long been the focus of model-based reinforcement learning, both for the online case when interacting with the environment and the offline case when learning from a fixed dataset. However, to date no single unified algorithm could demonstrate state-of-the-art results in both settings. In this work, we describe the Reanalyse algorithm which uses model-based policy and value improvement operators to compute new improved training targets on existing data points, allowing efficient learning for data budgets varying by several orders of magnitude. We further show that Reanalyse can also be used to learn entirely from demonstrations without any environment interactions, as in the case of offline Reinforcement Learning (offline RL). Combining Reanalyse with the MuZero algorithm, we introduce MuZero Unplugged, a single unified algorithm for any data budget, including offline RL. In contrast to previous work, our algorithm does not require any special adaptations for the off-policy or offline RL settings. MuZero Unplugged sets new state-of-the-art results in the RL Unplugged offline RL benchmark as well as in the online RL benchmark of Atari in the standard 200 million frame setting.

研究动机与目标

• 通过重复使用存储的数据来生成更好的训练目标，从而提高在线 RL 的数据效率。
• 通过在没有环境交互的数据集上学习，实现完全离线 RL。
• 证明一个单一算法（MuZero Unplugged）能够在离线、在线和基于演示的学习中处理离散和连续动作空间。
• 展示可扩展性到高维状态空间（像素输入）和各种数据预算。

提出的方法

• 使用基于模型的策略和价值改进算子从存储数据生成新的训练目标。
• 将 Reanalyse 与 MuZero 的 MCTS 规划和学习世界模型整合，产出更新后的目标用于 p（策略）、v（价值）和 r（奖励）。
• 对学习的模型进行 K 步展开，并在来自重新分析轨迹的多步 TD 目标上进行训练。
• 用树搜索改进的策略 pi_t 和价值 z_t 调整训练目标，形成模型与目标改进的良性循环。
• 将 Reanalyse 比例定义为来自环境交互的目标与通过重新分析数据获得的目标之比，以控制数据预算。

实验结果

研究问题

• RQ1 一个单一算法是否能够在没有特殊离线（off-policy）改动的情况下，在在线 RL 和离线 RL 设置中实现显著性能？
• RQ2 重复使用学习到的模型重新分析过去数据对不同数据预算下的学习效率有何影响？
• RQ3 将 Reanalyse 与 MuZero 结合，是否能在演示数据和纯离线数据集中实现有效学习？
• RQ4 在像素化任务和连续动作任务上，MuZero Unplugged 相较于专门的离线 RL 基线的表现如何？
• RQ5 在统一的基于规划的方法下，哪些数据预算范畴（在线、离线、混合）是可行的？

主要发现

• 通过重新利用存储数据以改进目标，Reanalyse 在跨越数量级的数据预算上实现数据高效学习。
• MuZero Unplugged 在 RL Unplugged（离线 Atari 与连续控制）和在线 Atari 基准测试上取得最先进的结果，无须特殊的离线改动。
• 在 Atari 中，当使用离线数据或混合预算时，MuZero Unplugged 的表现超过基线的 44/46 场。
• MuZero Unplugged 也在 DM Control Suite 的连续控制任务上达到或超过基线。
• 结合基于 MCTS 的动作选择与 Reanalyse 损失，取得最佳性能，确立 MuZero Unplugged 作为鲁棒的统一 RL 方法。