[论文解读] Off-Policy Adversarial Inverse Reinforcement Learning

Samin Yeasar Arnob|arXiv (Cornell University)|May 3, 2020

Reinforcement Learning in Robotics参考文献 21被引用 4

一句话总结

该论文提出了一种离策略对抗逆强化学习方法（Off-Policy-AIRL），通过结合软演员-critic（SAC）与基于判别器的对抗框架，在连续控制任务中提升了模仿性能与样本效率。该方法在最先进的一致性模仿强化学习（AIL）算法中表现出更优的模仿性能，并且即使在缺乏专家演示的情况下，也能通过学习到的奖励函数实现有效的迁移学习。

ABSTRACT

Adversarial Imitation Learning (AIL) is a class of algorithms in Reinforcement learning (RL), which tries to imitate an expert without taking any reward from the environment and does not provide expert behavior directly to the policy training. Rather, an agent learns a policy distribution that minimizes the difference from expert behavior in an adversarial setting. Adversarial Inverse Reinforcement Learning (AIRL) leverages the idea of AIL, integrates a reward function approximation along with learning the policy, and shows the utility of IRL in the transfer learning setting. But the reward function approximator that enables transfer learning does not perform well in imitation tasks. We propose an Off-Policy Adversarial Inverse Reinforcement Learning (Off-policy-AIRL) algorithm which is sample efficient as well as gives good imitation performance compared to the state-of-the-art AIL algorithm in the continuous control tasks. For the same reward function approximator, we show the utility of learning our algorithm over AIL by using the learned reward function to retrain the policy over a task under significant variation where expert demonstrations are absent.

研究动机与目标

• 解决现有对抗逆强化学习（AIRL）算法尽管具备强大的迁移学习能力，但模仿性能较差的问题。
• 通过利用离策略深度强化学习算法，提升连续控制任务中的样本效率与模仿性能。
• 证明所学习到的奖励函数在缺乏专家演示的迁移学习场景中，对策略重训练的实用性。
• 探究策略架构与奖励函数设计对模仿与迁移学习性能的影响。
• 研究乘法组合策略（MCP）在迁移学习过程中提升策略灵活性与性能的作用。

提出的方法

• 采用软演员-critic（SAC）作为生成器（策略），以支持离策略训练并提升样本效率。
• 集成一个判别器网络，用于区分专家轨迹与生成轨迹，形成对抗性训练目标。
• 学习一个与状态相关的奖励函数，且不使用熵正则化，该设置在所提框架中实证表现最佳。
• 在模仿与迁移学习中使用相同的奖励函数近似器，确保任务间的一致性。
• 应用乘法组合策略（MCP），仅通过更新门控函数即可实现灵活的策略重训练。
• 在迁移学习过程中采用随机状态初始化，以提升探索能力并降低性能方差。

实验结果

研究问题

• RQ1 与在线策略基线相比，像SAC这样的离策略深度强化学习方法是否能在对抗性逆强化学习中提升模仿性能？
• RQ2 在缺乏专家演示的情况下，是否能通过在模仿阶段表现良好的同一奖励函数近似器，实现有效的迁移学习？
• RQ3 在不进行完整重训练的情况下，乘法组合策略（MCP）是否能增强迁移学习过程中的策略灵活性与性能？
• RQ4 在迁移学习过程中采用随机状态初始化，如何影响Off-Policy-AIRL的性能与方差？
• RQ5 当代理动力学发生变化（如蚂蚁环境中部分肢体瘫痪）时，该方法为何会失效？哪些代理的结构性质可能影响这种失效？

主要发现

• 使用SAC作为生成器的Off-Policy-AIRL在MuJoCo连续控制环境（如HalfCheetah-v2与Ant-v2）中，相比最先进的一致性模仿强化学习（AIL）算法，实现了更优的模仿性能。
• 在所测试的奖励函数配置中，不使用熵正则化的简单状态相关奖励网络表现最佳。
• 所学习到的奖励函数即使在缺乏专家演示的情况下，也能成功支持迁移学习中的策略重训练，证明其在模仿之外的实用价值。
• 与标准SAC相比，SAC-MCP在迁移学习中提升了模仿性能并降低了性能方差，尤其在仅微调门控函数时效果更显著。
• 在迁移学习过程中采用随机状态初始化可增强探索能力并降低性能方差，从而生成更稳定且性能更高的策略。
• 当代理动力学被改变（如蚂蚁环境中肢体瘫痪）时，该方法无法泛化，表明代理的结构性质对可迁移性具有显著影响。