[论文解读] Procedural Generalization by Planning with Self-Supervised World Models

Ankesh Anand, Jacob Walker+6 more|arXiv (Cornell University)|Nov 2, 2021

Reinforcement Learning in Robotics参考文献 76被引用 4

一句话总结

本文通过使用自监督世界模型的MuZero研究了基于模型的强化学习中的过程泛化与任务泛化。结果表明，结合规划、自监督表征学习和过程数据多样性，可在Procgen上实现最先进水平的泛化性能与数据效率，但在Meta-World中的任务泛化方面，这些优势有限，表明在迁移至未见奖励函数时可能需要更优的探索策略。

ABSTRACT

One of the key promises of model-based reinforcement learning is the ability to generalize using an internal model of the world to make predictions in novel environments and tasks. However, the generalization ability of model-based agents is not well understood because existing work has focused on model-free agents when benchmarking generalization. Here, we explicitly measure the generalization ability of model-based agents in comparison to their model-free counterparts. We focus our analysis on MuZero (Schrittwieser et al., 2020), a powerful model-based agent, and evaluate its performance on both procedural and task generalization. We identify three factors of procedural generalization -- planning, self-supervised representation learning, and procedural data diversity -- and show that by combining these techniques, we achieve state-of-the art generalization performance and data efficiency on Procgen (Cobbe et al., 2019). However, we find that these factors do not always provide the same benefits for the task generalization benchmarks in Meta-World (Yu et al., 2019), indicating that transfer remains a challenge and may require different approaches than procedural generalization. Overall, we suggest that building generalizable agents requires moving beyond the single-task, model-free paradigm and towards self-supervised model-based agents that are trained in rich, procedural, multi-task environments.

研究动机与目标

• 系统评估基于模型的智能体（特别是MuZero）相较于模型自由基线的泛化能力。
• 探究自监督表征学习与过程数据多样性是否能提升基于模型的强化学习中的泛化性能。
• 评估在模型自由基线中已证明有效的改进方法（如自监督、数据多样性）是否可迁移至基于模型的智能体。
• 识别实现过程泛化的关键因素，并理解其在任务泛化中的局限性。

提出的方法

• 通过引入像素重建作为预训练目标，对MuZero进行修改，以提升世界模型的质量。
• 通过在Procgen和Meta-World中训练于多样化环境配置，实现过程数据增强，以提升数据多样性。
• 在MuZero中应用蒙特卡洛树搜索（MCTS）进行规划，利用内部世界模型实现长时程决策。
• 通过消融实验比较MuZero在有无自监督、不同数据多样性水平下的表现，并与受控的模型自由Q-Learning基线进行对比。
• 使用标准化基准评估在过程泛化（未见过的环境配置）和任务泛化（未见过的奖励函数）上的性能。
• 对测试任务进行微调，以评估迁移性能与累积遗憾，衡量数据效率与可迁移性。

实验结果

研究问题

• RQ1 自监督表征学习是否能提升MuZero等基于模型的智能体在过程泛化中的表现？
• RQ2 过程数据多样性如何影响基于模型智能体的泛化能力与数据效率？
• RQ3 在过程泛化与任务泛化场景下，MuZero中的规划是否能优于模型自由方法？
• RQ4 为何在Procgen中表现成功的自监督与数据多样性在Meta-World的任务泛化中收益有限？
• RQ5 当前基于模型的智能体在将知识迁移至未见奖励函数时存在哪些关键局限性？

主要发现

• 结合自监督表征学习与过程数据多样性的MuZero在Procgen以及ML-1和ML-45过程泛化基准上实现了最先进性能。
• 规划、自监督与数据多样性三者结合带来了显著的数据效率提升，大幅减少了过程泛化中对大量训练数据的依赖。
• 自监督预训练提升了MuZero在Procgen上的性能与数据效率，但在Meta-World任务泛化中未带来可测量的收益。
• MuZero在Meta-World中对未见任务表现出微弱的正迁移，优于从零开始训练，但自监督并未进一步增强此优势。
• 自监督在任务泛化中未带来改进，表明仅具备良好的世界模型不足以实现有效迁移，尤其是在奖励函数未知时。
• 作者推测，未见任务中探索效果差、世界模型存在偏差以及记忆长度有限（15帧）可能是阻碍任务泛化的关键因素，提示需要改进在线探索策略。