[论文解读] Situated GAIL: Multitask imitation using task-conditioned adversarial inverse reinforcement learning

Kyoichiro Kobayashi, Takato Horii+3 more|arXiv (Cornell University)|Nov 1, 2019

Reinforcement Learning in Robotics参考文献 26被引用 7

一句话总结

本文提出情境生成对抗模仿学习（S-GAIL），作为生成对抗模仿学习（GAIL）的扩展，通过引入任务条件判别器和生成器，实现多任务模仿学习，支持同时学习多个奖励函数与策略。通过结合AIRL的奖励估计能力与InfoGAIL的解耦策略学习机制，S-GAIL在离散网格世界与连续机械臂环境中的收敛速度和性能均优于现有框架。

ABSTRACT

Generative adversarial imitation learning (GAIL) has attracted increasing attention in the field of robot learning. It enables robots to learn a policy to achieve a task demonstrated by an expert while simultaneously estimating the reward function behind the expert's behaviors. However, this framework is limited to learning a single task with a single reward function. This study proposes an extended framework called situated GAIL (S-GAIL), in which a task variable is introduced to both the discriminator and generator of the GAIL framework. The task variable has the roles of discriminating different contexts and making the framework learn different reward functions and policies for multiple tasks. To achieve the early convergence of learning and robustness during reward estimation, we introduce a term to adjust the entropy regularization coefficient in the generator's objective function. Our experiments using two setups (navigation in a discrete grid world and arm reaching in a continuous space) demonstrate that the proposed framework can acquire multiple reward functions and policies more effectively than existing frameworks. The task variable enables our framework to differentiate contexts while sharing common knowledge among multiple tasks.

研究动机与目标

• 解决GAIL及其相关框架中单任务学习的局限性，即无法同时学习具有不同奖励函数与策略的多个任务。
• 通过在任务间共享通用动态与表示，同时保持任务特定的策略与奖励函数估计，实现稳健且高效的多任务模仿学习。
• 通过在生成器目标函数中引入熵正则化系数校正（ERC）项，改善学习收敛性与策略性能。
• 整合AIRL的奖励估计能力与InfoGAIL的任务条件机制，实现显式奖励函数恢复与解耦策略学习。
• 在离散与连续控制环境中验证框架的有效性，展示其在多任务模仿学习中的优越性能。

提出的方法

• 在GAIL框架中，将任务变量 $ c $ 作为生成器与判别器的输入，实现任务特定的策略与奖励函数学习。
• 采用AIRL的判别器结构，显式将奖励函数作为对抗训练过程的一部分，实现直接奖励估计。
• 通过在生成器目标函数中引入熵正则化系数校正（ERC）项，动态平衡训练过程中的探索与利用。
• 以对抗方式训练生成器与判别器：生成器在任务 $ c $ 条件下生成类似专家的行为，判别器则区分专家演示与生成轨迹。
• 在生成器与判别器中使用共享参数以表示通用状态-动作动态，同时通过任务变量 $ c $ 实现任务特定的自适应。
• 将框架应用于离散网格世界导航与连续机械臂抓取任务，使用多个目标的专家演示进行训练。

实验结果

研究问题

• RQ1 单一模仿学习框架是否能有效学习不同任务的多个奖励函数与策略，而无需重复模型？
• RQ2 在生成器与判别器中引入任务变量，相较于标准GAIL或InfoGAIL，如何提升多任务策略与奖励函数学习效果？
• RQ3 熵正则化系数校正（ERC）项在多任务模仿学习中对学习收敛性与性能的提升程度如何？
• RQ4 所提出的框架是否能泛化到连续控制环境，同时保持任务特定行为与鲁棒性？
• RQ5 在任务间共享模型参数是否能带来比独立训练多个独立模型更快、更稳定的学习效果？

主要发现

• S-GAIL在离散网格世界与连续机械臂环境中均表现出优越性能，优于InfoGAIL与结合AIRL的InfoGAIL，在学习速度与成功率方面表现更优。
• 在网格世界实验中，S-GAIL比基线模型更早达到更高数量的成功尝试（超过40次中的35次），表明收敛更快。
• 在机械臂仿真环境中，S-GAIL成功独立学习到达红色与蓝色目标，机器人能根据任务条件正确选择目标，即使从靠近错误目标的初始状态出发。
• 该框架使机器人能够平稳地到达正确目标而无混淆，表明任务特定策略与奖励函数估计有效。
• 生成器中使用共享参数显著加速了学习，因为任务间的通用动态得到了高效利用。
• 熵正则化系数校正（ERC）项实现了最大化期望奖励与促进探索之间的动态平衡，有助于加快收敛并提升性能。