[论文解读] Skill Transfer via Partially Amortized Hierarchical Planning

Kevin Xie, Homanga Bharadhwaj+3 more|arXiv (Cornell University)|Nov 27, 2020

Reinforcement Learning in Robotics参考文献 27被引用 4

一句话总结

本文提出了一种分层强化学习框架，通过结合学习到的世界模型与在线技能选择的局部摊销规划，实现对新任务的快速适应。通过在推理时在线规划选择技能，同时使用预训练的策略，该方法在复杂运动任务中相比强基线模型，实现了更高的样本效率和迁移性能。

ABSTRACT

To quickly solve new tasks in complex environments, intelligent agents need to build up reusable knowledge. For example, a learned world model captures knowledge about the environment that applies to new tasks. Similarly, skills capture general behaviors that can apply to new tasks. In this paper, we investigate how these two approaches can be integrated into a single reinforcement learning agent. Specifically, we leverage the idea of partial amortization for fast adaptation at test time. For this, actions are produced by a policy that is learned over time while the skills it conditions on are chosen using online planning. We demonstrate the benefits of our design decisions across a suite of challenging locomotion tasks and demonstrate improved sample efficiency in single tasks as well as in transfer from one task to another, as compared to competitive baselines. Videos are available at: this https URL

研究动机与目标

• 将学习到的世界模型与可重用技能整合到单一强化学习智能体中，以实现对新任务的快速适应。
• 在单任务学习和跨任务迁移中提升样本效率。
• 探索在分层规划中部分摊销的优势，即在推理时动态选择技能，而策略则预先学习。
• 在需要泛化能力的具有挑战性的运动环境上，证明该方法的有效性。

提出的方法

• 智能体在推理时使用一个预训练的策略，该策略根据通过在线规划选择的技能进行条件化。
• 通过使用学习到的世界模型预测潜在技能序列的结果，实现在线规划选择技能。
• 通过在训练期间学习策略，同时在推理时动态选择技能，实现部分摊销，从而降低规划开销。
• 世界模型被训练以预测状态转移和奖励，从而在在线规划期间实现快速滚动。
• 分层结构将长时程决策（技能选择）与低层动作生成（策略）分离。
• 通过在不同任务中重用预训练策略并配合新的技能序列，该框架支持迁移学习。

实验结果

研究问题

• RQ1 局部摊销分层规划是否能提升复杂控制任务中的样本效率？
• RQ2 将学习到的世界模型与在线技能选择相结合，对任务间的迁移性能有何影响？
• RQ3 推理时的动态技能选择是否优于固定或预训练的技能策略？
• RQ4 该方法在多大程度上减少了适应新任务时对大量重训练的需求？

主要发现

• 与竞争性基线相比，所提方法在单任务学习中实现了更优的样本效率。
• 智能体在从一个运动任务迁移到另一个任务时，表现出更优的迁移性能。
• 在线技能选择使推理时能够实现更快的适应，而无需重新训练策略。
• 将世界模型与分层规划相结合，可实现更有效的长时程规划。