[论文解读] Regularized Hierarchical Policies for Compositional Transfer in Robotics.

Markus Wulfmeier, Abbas Abdolmaleki+8 more|arXiv (Cornell University)|Jun 26, 2019

Reinforcement Learning in Robotics参考文献 23被引用 14

一句话总结

本文提出正则化的分层策略，通过以共享子策略结构化策略的方式，在多个机器人任务之间实现高效的知识迁移。采用一种具有分层结构归纳偏置的新型强化学习算法，与基线方法相比，该方法在仿真和真实机器人实验中均实现了显著更快且更高效的数据学习。

ABSTRACT

The successful application of flexible, general learning algorithms -- such as deep reinforcement learning -- to real-world robotics applications is often limited by their poor data-efficiency. Domains with more than a single dominant task of interest encourage algorithms that share partial solutions across tasks to limit the required experiment time. We develop and investigate simple hierarchical inductive biases -- in the form of structured policies -- as a mechanism for knowledge transfer across tasks in reinforcement learning (RL). To leverage the power of these structured policies we design an RL algorithm that enables stable and fast learning. We demonstrate the success of our method both in simulated robot environments (using locomotion and manipulation domains) as well as real robot experiments, demonstrating substantially better data-efficiency than competitive baselines.

研究动机与目标

• 解决深度强化学习在真实世界机器人应用中数据效率低下的问题。
• 通过结构化的策略层次共享部分解决方案，实现在多个相关任务之间的知识迁移。
• 设计一种稳定且快速的强化学习算法，有效利用分层归纳偏置。
• 在仿真和真实世界机器人环境中评估该方法在运动控制和操作任务中的表现。

提出的方法

• 该方法采用分层策略结构，通过在任务间学习共享子策略，实现组合式迁移。
• 对策略参数应用正则化方案，以稳定学习过程并促进任务间知识的有效共享。
• 强化学习算法设计用于支持分层策略的稳定训练，实现在复杂环境中的快速收敛。
• 该架构采用两级策略：高层策略选择子策略，低层策略执行特定任务的行为。
• 该方法将结构化的归纳偏置整合到策略网络中，以促进在相关任务间的泛化与迁移。

实验结果

研究问题

• RQ1 分层策略结构能否提升机器人多任务强化学习中的数据效率？
• RQ2 共享子策略在不同运动控制和操作任务之间能否有效传递知识？
• RQ3 所提出的正则化方案是否能增强分层强化学习中的训练稳定性和学习速度？
• RQ4 该方法在仿真和真实世界环境中相较于非分层或非正则化基线方法，性能提升程度如何？

主要发现

• 所提方法在仿真和真实机器人环境中均显著优于竞争性基线方法，在数据效率方面表现优异。
• 分层策略结构有效实现了多个任务之间的知识迁移，减少了所需实验时间。
• 正则化提升了训练稳定性，并增强了多任务设置下共享子策略的性能。
• 该方法在仿真和真实世界部署中均展现出强大的泛化能力与快速学习性能，适用于运动控制和操作任务。