[论文解读] Task-Relevant Adversarial Imitation Learning

Konrad Żołna, Scott Reed+7 more|arXiv (Cornell University)|Sep 25, 2019

Adversarial Robustness in Machine Learning被引用 2

一句话总结

本文提出任务相关对抗模仿学习（TRAIL），一种通过约束判别器优化以聚焦于任务相关视觉特征、避免学习无关关联的GAIL改进方法。TRAIL在无需任务奖励的情况下，于基于像素的机器人操作任务中表现优于行为克隆和标准GAIL。

ABSTRACT

We show that a critical vulnerability in adversarial imitation is the tendency of discriminator networks to learn spurious associations between visual features and expert labels. When the discriminator focuses on task-irrelevant features, it does not provide an informative reward signal, leading to poor task performance. We analyze this problem in detail and propose a solution that outperforms standard Generative Adversarial Imitation Learning (GAIL). Our proposed method, Task-Relevant Adversarial Imitation Learning (TRAIL), uses constrained discriminator optimization to learn informative rewards. In comprehensive experiments, we show that TRAIL can solve challenging robotic manipulation tasks from pixels by imitating human operators without access to any task rewards, and clearly outperforms comparable baseline imitation agents, including those trained via behaviour cloning and conventional GAIL.

研究动机与目标

• 解决对抗模仿学习中判别器因学习无关视觉特征与专家标签之间的虚假关联而产生的脆弱性问题。
• 通过确保判别器仅关注任务相关特征，提升奖励信号的信息量。
• 在无法获取密集或稀疏任务奖励的情况下，实现基于像素的机器人操作任务中的有效模仿学习。
• 在复杂、视觉驱动的模仿学习场景中，超越标准GAIL和行为克隆。

提出的方法

• TRAIL为判别器引入一种约束优化目标，以抑制其对任务无关视觉特征的依赖。
• 该方法强制判别器的决策边界仅依赖于与任务成功相关的特征，而非虚假的视觉线索。
• 采用正则化训练过程，对与专家行为无关的特征注意力施加惩罚。
• 判别器被训练以区分专家演示与与专家无关的专家数据，从而提升奖励信号质量。
• 生成器策略通过使用约束判别器输出作为奖励信号进行更新。

实验结果

研究问题

• RQ1 在对抗模仿学习中，判别器如何对任务无关视觉特征产生过拟合？
• RQ2 通过约束判别器优化，能否提升模仿学习中奖励信号的质量？
• RQ3 TRAIL在基于像素的机器人操作任务中是否优于标准GAIL和行为克隆？
• RQ4 TRAIL能否在无任务特定奖励函数的情况下实现优异性能？

主要发现

• TRAIL在从像素观测中解决复杂机器人操作任务方面，显著优于标准GAIL和行为克隆。
• 该方法成功地仅依赖约束判别器的信号，从专家演示中进行学习，而无需任何任务奖励。
• TRAIL减少了对虚假视觉特征的依赖，从而生成更具鲁棒性和泛化能力的策略。
• 与标准GAIL相比，约束判别器产生的奖励信号更具信息量且更稳定。