[论文解读] Multi-task Learning with Gradient Guided Policy Specialization

Wenhao Yu, C. Karen Liu+1 more|arXiv (Cornell University)|Sep 23, 2017

Reinforcement Learning in Robotics参考文献 18被引用 3

一句话总结

该论文提出了一种多任务强化学习方法，通过先在多个任务上联合训练共享神经网络策略，再利用基于梯度的度量方法识别出任务间差异度高的权重，从而选择性地对策略进行专业化，以提升数据效率。该方法在不同任务相似度的多样化机器人控制任务中，优于仅联合训练、独立训练、随机专业化以及标准多任务架构。

ABSTRACT

We present a method for efficient learning of control policies for multiple related robotic motor skills. Our approach consists of two stages, joint training and specialization training. During the joint training stage, a neural network policy is trained with minimal information to disambiguate the motor skills. This forces the policy to learn a common representation of the different tasks. Then, during the specialization training stage we selectively split the weights of the policy based on a per-weight metric that measures the disagreement among the multiple tasks. By splitting part of the control policy, it can be further trained to specialize to each task. To update the control policy during learning, we use Trust Region Policy Optimization with Generalized Advantage Function (TRPOGAE). We propose a modification to the gradient update stage of TRPO to better accommodate multi-task learning scenarios. We evaluate our approach on three continuous motor skill learning problems in simulation: 1) a locomotion task where three single legged robots with considerable difference in shape and size are trained to hop forward, 2) a manipulation task where three robot manipulators with different sizes and joint types are trained to reach different locations in 3D space, and 3) locomotion of a two-legged robot, whose range of motion of one leg is constrained in different ways. We compare our training method to three baselines. The first baseline uses only joint training for the policy, the second trains independent policies for each task, and the last randomly selects weights to split. We show that our approach learns more efficiently than each of the baseline methods.

研究动机与目标

• 通过深度强化学习提升训练多个相关机器人运动技能时的数据效率。
• 解决多任务策略学习中参数共享与任务特定适应之间的平衡挑战。
• 开发一种自动化方法，用于识别应被专业化的网络权重，以提升在多样化任务上的性能。
• 在任务相似度各异（包括差异较大的机器人）的任务上评估该方法。
• 证明基于梯度差异的有选择性专业化优于随机或固定架构的专业化。

提出的方法

• 该方法采用两阶段训练：首先使用近端策略优化（PPO）在所有任务上联合训练单一共享策略。
• 基于任务间策略梯度的方差计算每个权重的度量，以衡量其差异度；方差越高，表示共享效用越低。
• 在第二阶段训练中，对差异度高的权重进行选择性拆分，创建专用子策略。
• 专业化仅应用于策略网络，而非价值函数网络，依据梯度方差度量进行。
• 该方法支持灵活的专业化程度，可应用于任意数量具有共享架构的相关任务。
• 该方法使用PPO与代理损失进行评估，专业化仅在训练过程中的一个时间点应用。

实验结果

研究问题

• RQ1 基于梯度差异的有选择性策略专业化是否能提升多任务强化学习性能，相比仅联合训练？
• RQ2 该方法在不同任务相似度（如不同尺寸的机器人）下的性能表现如何？
• RQ3 基于梯度的专门化是否优于随机或固定架构的专业化？
• RQ4 该方法能否在任务相关性各异的多样化机器人控制任务上实现泛化？
• RQ5 联合训练时长与专业化比例对最终性能有何影响？

主要发现

• 所提出方法在所有测试配置中均取得最高性能，持续优于仅联合训练、独立训练、随机专业化以及标准多任务架构。
• 在跳跃者任务中，躯干质量为3kg与15kg（最不相似）时，该方法实现了2302.74的累积回报，优于独立训练与联合训练。
• 在双足行走任务中，正向与反向行走，该方法在800k次联合训练步骤与50%专业化比例下，实现了2562.53的累积回报，显著优于基线方法。
• 随着任务相似度提高（如14kg与15kg的跳跃者），联合训练结合基于梯度的专门化优于独立训练，分别达到2562.53与2381.18的最优基线表现。
• 该方法在9种超参数配置下表现出稳健性，其中一种最优设置（800k次联合训练步骤，50%专业化比例）在所有示例中均取得优异结果。
• 初步测试表明，对价值函数网络进行专业化并未带来显著收益，表明仅对策略网络进行专业化已足够提升性能。