[论文解读] Skill-based Meta-Reinforcement Learning

Taewook Nam, Shao-Hua Sun+3 more|arXiv (Cornell University)|Apr 25, 2022

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

该论文提出SiMPL，一种基于技能的元强化学习方法，利用未标注的离线数据集提取可复用的技能和技能先验，从而实现对未见的长时程、稀疏奖励任务的快速适应。通过使用技能先验正则化高层策略进行元训练，SiMPL在导航和操作任务上相比先前的深度强化学习、元强化学习及多任务强化学习方法，实现了数量级的样本效率提升。

ABSTRACT

While deep reinforcement learning methods have shown impressive results in robot learning, their sample inefficiency makes the learning of complex, long-horizon behaviors with real robot systems infeasible. To mitigate this issue, meta-reinforcement learning methods aim to enable fast learning on novel tasks by learning how to learn. Yet, the application has been limited to short-horizon tasks with dense rewards. To enable learning long-horizon behaviors, recent works have explored leveraging prior experience in the form of offline datasets without reward or task annotations. While these approaches yield improved sample efficiency, millions of interactions with environments are still required to solve complex tasks. In this work, we devise a method that enables meta-learning on long-horizon, sparse-reward tasks, allowing us to solve unseen target tasks with orders of magnitude fewer environment interactions. Our core idea is to leverage prior experience extracted from offline datasets during meta-learning. Specifically, we propose to (1) extract reusable skills and a skill prior from offline datasets, (2) meta-train a high-level policy that learns to efficiently compose learned skills into long-horizon behaviors, and (3) rapidly adapt the meta-trained policy to solve an unseen target task. Experimental results on continuous control tasks in navigation and manipulation demonstrate that the proposed method can efficiently solve long-horizon novel target tasks by combining the strengths of meta-learning and the usage of offline datasets, while prior approaches in RL, meta-RL, and multi-task RL require substantially more environment interactions to solve the tasks.

研究动机与目标

• 为解决深度强化学习在真实机器人学习中，特别是在长时程、稀疏奖励任务上的样本效率低下问题。
• 通过从未标注的离线数据集中引入先验经验，将元强化学习扩展至长时程、密集奖励任务之外的场景。
• 通过从离线数据中学习可复用的技能和技能先验，实现对未见目标任务的快速适应。
• 通过结合元学习与分层技能组合，提升长时程控制的样本效率。
• 证明元学习可与任务无关的离线数据有效结合，用于复杂、稀疏奖励环境。

提出的方法

• 从包含无奖励或任务标注轨迹的大规模离线数据集中提取可复用的技能和技能先验。
• 通过使用技能先验作为正则化项，元训练高层策略，以组合所学技能形成长时程行为，从而引导探索。
• 采用分层强化学习框架，其中高层策略选择并编排低层技能。
• 在多样或与目标任务对齐的元训练任务分布上训练高层策略，以提升泛化能力。
• 不仅利用离线数据进行技能发现，还利用其作为先验知识，以减少元训练中的探索。
• 应用课程学习和任务分布偏差技术，评估元训练任务对齐程度对性能的影响。

实验结果

研究问题

• RQ1 仅使用未标注的离线数据集，能否有效将元强化学习应用于长时程、稀疏奖励任务？
• RQ2 元训练任务分布的质量如何影响元学习策略的样本效率？
• RQ3 基于技能的元强化学习是否能显著减少与环境交互的次数，相比先前的深度强化学习和元强化学习方法？
• RQ4 从离线数据中学习技能先验是否能提升元训练中的泛化能力和样本效率？
• RQ5 元训练与目标任务分布之间的对齐程度如何影响未见任务上的性能表现？

主要发现

• SiMPL相比先前方法实现了显著更高的样本效率，在未见的长时程任务上以数量级更少的环境交互次数完成任务。
• 即使仅使用10个或20个元训练任务，SiMPL仍优于最佳基线方法（SPiRL），表明其对稀疏元训练任务分布具有强鲁棒性。
• 当在与目标任务对齐的任务分布上进行元训练时（例如，迷宫的前25%），SiMPL在目标任务上表现出更优性能。
• 当元训练任务与目标任务分布不匹配时，性能下降，证实了任务分布对齐的重要性。
• SiMPL在迷宫导航和厨房操作任务上均优于SPiRL、MTRL及其他基线方法，尤其在稀疏奖励设置下表现更优。
• 从离线数据中学得的技能先验有效正则化了高层策略，实现了高效探索，并在元测试阶段实现更快适应。