[论文解读] Progressive Reinforcement Learning with Distillation for Multi-Skilled Motion Control

Glen Berseth, Cheng Xie+2 more|arXiv (Cornell University)|Feb 13, 2018

Reinforcement Learning in Robotics参考文献 18被引用 22

一句话总结

该论文提出PLAID，一种渐进式强化学习框架，通过蒸馏和迁移学习在连续控制任务中逐步学习并整合多种运动技能。通过利用策略蒸馏和输入注入，该方法实现了高效技能获取，同时保留了已有能力，在多样化地形上的模拟双足行走任务中优于基线方法。

ABSTRACT

Deep reinforcement learning has demonstrated increasing capabilities for continuous control problems, including agents that can move with skill and agility through their environment. An open problem in this setting is that of developing good strategies for integrating or merging policies for multiple skills, where each individual skill is a specialist in a specific skill and its associated state distribution. We extend policy distillation methods to the continuous action setting and leverage this technique to combine expert policies, as evaluated in the domain of simulated bipedal locomotion across different classes of terrain. We also introduce an input injection method for augmenting an existing policy network to exploit new input features. Lastly, our method uses transfer learning to assist in the efficient acquisition of new skills. The combination of these methods allows a policy to be incrementally augmented with new skills. We compare our progressive learning and integration via distillation (PLAID) method against three alternative baselines.

研究动机与目标

• 解决在不发生灾难性遗忘的情况下，逐步学习并整合新运动技能到现有策略中的挑战。
• 开发一种方法，将先前学习技能的知识迁移至新技能，以加速在连续动作空间中的学习。
• 通过输入注入实现新技能的无缝集成，使策略能够利用额外的感官输入而无需重新训练。
• 在复杂连续控制任务——跨多样化地形的双足行走——上评估该方法，展示其可扩展性和效率。
• 提供一种持续学习框架，避免分层技能分解，而是使用单一深度神经网络统一整合多种技能。

提出的方法

• 通过监督学习回归专家策略的动作分布，将策略蒸馏扩展至连续动作空间。
• 使用单一深度神经网络作为学生策略，通过均方误差损失函数，使其输出分布匹配多个专家策略的输出分布。
• 引入输入注入，通过添加新输入特征（例如地形类型）来增强现有策略，而无需重新训练整个网络。
• 通过使用先前训练策略的特征初始化新策略的演员-评论家网络，应用迁移学习以加速收敛。
• 采用DAGGER风格学习，以提高蒸馏过程中的数据效率和策略泛化能力。
• 采用渐进式训练策略，逐个学习并集成新技能，通过持续蒸馏保持对先前技能的性能。

实验结果

研究问题

• RQ1 策略蒸馏能否有效扩展至连续动作空间，以实现多技能运动控制？
• RQ2 通过蒸馏进行渐进式集成，与联合或顺序学习但无集成的方法相比，效果如何？
• RQ3 从先前策略中迁移知识在多大程度上能加速新运动技能的获取？
• RQ4 输入注入能否使策略在不损害现有技能性能的前提下，利用额外感官输入学习新技能？
• RQ5 该方法在渐进式技能获取过程中如何缓解灾难性遗忘？

主要发现

• PLAID方法在联合或顺序学习所有技能的基线方法中表现更优，展现出更高的样本效率和在多地形行走任务中的性能优势。
• 迁移学习显著加速了新技能的学习，尤其当新任务与先前学习任务共享状态空间区域时更为明显。
• 输入注入成功使策略能够利用新输入特征（如地形类型），而不会损害现有技能的性能。
• 蒸馏在渐进式集成过程中有效保留了所有技能的专家性能，即使在添加多个新技能后依然如此。
• 在新技能获取过程中，该方法在先前学习技能上保持了稳定性能，表明有效缓解了灾难性遗忘。
• 在连续动作空间中使用均方误差进行蒸馏是有效的，尽管论文指出KL散度或加权蒸馏可能进一步提升性能。