[论文解读] Non-Adversarial Imitation Learning and its Connections to Adversarial Methods

Oleg Arenz, Gerhard Neumann|arXiv (Cornell University)|Aug 8, 2020

Adversarial Robustness in Machine Learning参考文献 48被引用 6

一句话总结

本文提出了一种非对抗性模仿学习框架，将对抗性方法（如AIRL）重新表述为非对抗性优化问题，从而在采用大步长策略更新时实现稳定训练。通过推导反向KL散度的上界，并采用类似期望最大化（EM）的迭代紧致化方法，该方法实现了更强的收敛保证，并简化了AIRL的理论解释，表明AIRL是所提框架的一个特例。

ABSTRACT

Many modern methods for imitation learning and inverse reinforcement learning, such as GAIL or AIRL, are based on an adversarial formulation. These methods apply GANs to match the expert's distribution over states and actions with the implicit state-action distribution induced by the agent's policy. However, by framing imitation learning as a saddle point problem, adversarial methods can suffer from unstable optimization, and convergence can only be shown for small policy updates. We address these problems by proposing a framework for non-adversarial imitation learning. The resulting algorithms are similar to their adversarial counterparts and, thus, provide insights for adversarial imitation learning methods. Most notably, we show that AIRL is an instance of our non-adversarial formulation, which enables us to greatly simplify its derivations and obtain stronger convergence guarantees. We also show that our non-adversarial formulation can be used to derive novel algorithms by presenting a method for offline imitation learning that is inspired by the recent ValueDice algorithm, but does not rely on small policy updates for convergence. In our simulated robot experiments, our offline method for non-adversarial imitation learning seems to perform best when using many updates for policy and discriminator at each iteration and outperforms behavioral cloning and ValueDice.

研究动机与目标

• 解决GAIL和AIRL等对抗性模仿学习方法存在的不稳定性和收敛限制问题，这些方法因优化行为不佳且需要小步长策略更新而受限。
• 提出一种非对抗性模仿学习重构，保持与对抗性方法相同的归纳偏置，同时实现稳定的大步长策略优化。
• 通过证明AIRL是所提非对抗性框架的特例，澄清AIRL的理论基础，从而简化其推导并提升收敛保证。
• 基于新框架开发一种新颖的离线模仿学习算法，受ValueDice启发但无需依赖小步长策略更新，从而提升稳定性。
• 在模拟机器人环境中证明，所提方法在每轮迭代中采用高频率策略更新时，优于行为克隆（behavioral cloning）和ValueDice。

提出的方法

• 基于专家与智能体状态-动作分布之间反向Kullback-Leibler（RKL）散度的上界，提出一种非对抗性模仿学习框架。
• 引入一种由密度比估计器（判别器）导出的奖励信号，该信号固定于前一策略的分布，避免因贪婪更新而退化的策略相关奖励信号。
• 采用类似期望最大化（EM）的迭代优化方案，每一步中紧致化并优化该上界，以确保单调改进与收敛。
• 将目标表述为带有下界奖励函数的软Q函数优化，即使在大步长更新下也能实现策略改进。
• 通过将该框架应用于离线数据，推导出一种新颖的离线模仿学习算法，避免对小步长策略更新的依赖以实现收敛。
• 证明AIRL是所提框架的特定实例，从而为AIRL提供一种新的非对抗性理论解释。

实验结果

研究问题

• RQ1 能否设计一种非对抗性模仿学习框架，在保持GAIL和AIRL等对抗性方法性能的同时，确保在大步长策略更新下仍能实现稳定优化与收敛？
• RQ2 所提的非对抗性框架与现有对抗性方法（如AIRL）有何关系？能否为其提供更清晰的理论基础？
• RQ3 所提框架能否用于推导一种新型离线模仿学习算法，该算法无需依赖小步长策略更新即可实现收敛？
• RQ4 与行为克隆和ValueDice相比，非对抗性形式化是否能提升离线模仿学习中的样本效率与性能？
• RQ5 反向KL散度的上界能否通过迭代方式有效紧致化，以保证单调改进并收敛至最优策略？

主要发现

• 所提非对抗性框架即使在大步长策略更新下，也能保证收敛至最优策略，而对抗性方法则需依赖小步长更新才能收敛。
• 正式证明AIRL是所提非对抗性框架的特例，从而简化了其理论解释，并提供了更强的收敛保证。
• 非对抗性框架使一种新颖的离线模仿学习算法得以推导，该算法在无需小步长策略更新的情况下表现优异，在模拟实验中优于行为克隆与ValueDice。
• 在模拟机器人实验中，基于所提框架的离线方法在每轮迭代中采用大量策略与判别器更新时，取得了最佳性能。
• 通过将奖励信号与当前策略解耦，使用前一策略的固定密度比，该方法提升了训练稳定性，避免了对抗性方法中常见的奖励信号退化问题。
• 理论分析确认，在迭代紧致化过程中，目标函数具有单调改进特性，从而确保收敛至专家策略分布。