[论文解读] Sample-efficient Adversarial Imitation Learning from Observation

Faraz Torabi, Sean Geiger+2 more|arXiv (Cornell University)|Jun 18, 2019

Adversarial Robustness in Machine Learning参考文献 25被引用 5

一句话总结

该论文提出 LQR+GAIfO，一种样本高效的模仿学习算法，结合了以轨迹为中心的强化学习（LQR）与从观察中进行生成对抗模仿学习（GAIfO），以提升学习效率。通过使用 LQR 生成高质量、低层级的轨迹来引导对抗性策略训练，该方法相比单独使用 GAIfO 实现了更快的收敛速度和更优的样本效率，从而在更少的示范数据和训练迭代次数下成功实现了对物理机器人系统的模仿。

ABSTRACT

Imitation from observation is the framework of learning tasks by observing demonstrated state-only trajectories. Recently, adversarial approaches have achieved significant performance improvements over other methods for imitating complex behaviors. However, these adversarial imitation algorithms often require many demonstration examples and learning iterations to produce a policy that is successful at imitating a demonstrator's behavior. This high sample complexity often prohibits these algorithms from being deployed on physical robots. In this paper, we propose an algorithm that addresses the sample inefficiency problem by utilizing ideas from trajectory centric reinforcement learning algorithms. We test our algorithm and conduct experiments using an imitation task on a physical robot arm and its simulated version in Gazebo and will show the improvement in learning rate and efficiency.

研究动机与目标

• 解决在真实机器人应用中对抗性模仿学习（GAIfO）的高样本复杂度问题。
• 在仅能获取状态轨迹而无动作信息的模仿从观察（IfO）设置中，提升样本效率。
• 通过减少所需示范数量和训练迭代次数，实现在物理机器人上的有效模仿学习。
• 将以轨迹为中心的 LQR 的样本效率与 GAIfO 中深度神经网络的策略容量相结合。
• 在模拟和物理的 6-DOF 机械臂上验证该方法，证明其从仿真到现实的可迁移性。

提出的方法

• 整合线性二次调节器（LQR），用于生成高质量、低层级的轨迹控制器，以指导策略搜索。
• 将 LQR 生成的轨迹作为先验，用于初始化并引导 GAIfO 框架中的生成器网络。
• 采用生成对抗网络（GAN）设置，其中判别器用于区分专家轨迹与模仿者轨迹。
• 利用判别器的反馈对生成器（即模仿策略）进行对抗性训练，同时借助 LQR 实现样本高效的探索。
• 通过从 LQR 轨迹中进行重要性加权采样，以提升策略更新的效率与泛化能力。
• 通过在判别器中增加卷积层，将框架扩展至支持视觉观测，从而实现从视频数据中进行模仿。

实验结果

研究问题

• RQ1 将 LQR 与 GAIfO 结合是否能显著减少成功从观察中模仿所需的样本数量？
• RQ2 在样本效率和最终模仿准确率方面，LQR+GAIfO 相较于单独使用 GAIfO 的性能表现如何？
• RQ3 在模拟环境中训练的策略在多大程度上能成功迁移到物理机器人手臂上？
• RQ4 LQR 的集成是否能提升对训练期间未见过的目标点的泛化能力？
• RQ5 该方法能否扩展至仅使用视觉观测，从而实现从视频示范中进行模仿？

主要发现

• LQR+GAIfO 在显著少于 GAIfO 所需的训练迭代次数和示范样本数量下实现了成功的模仿，证明了其样本效率的显著提升。
• 该方法表现出更快的学习收敛速度，在训练初期（特别是前 60 次迭代内）性能已超越 GAIfO。
• 尽管在约第 60 次迭代后，LQR+GAIfO 出现性能下降，可能由于判别器与控制器之间的学习率不匹配，但在样本受限的早期阶段，其性能仍优于 GAIfO。
• 在模拟环境中训练的策略成功泛化到物理机器人手臂上，且真实世界性能优于仿真结果，可能归因于物理噪声带来的额外探索。
• LQR 的集成使模型对未见目标点的泛化能力得到改善，尤其在提供更多示范轨迹时，原因在于判别器学习到了更具通用性的代价函数。
• 未来通过卷积判别器实现对视觉观测的扩展是一条有前景的方向，因为这将使从视频数据中进行模仿成为可能，而无需动作标注。