[论文解读] TRAIL: Near-Optimal Imitation Learning with Suboptimal Data

Mengjiao Yang, Sergey Levine+1 more|arXiv (Cornell University)|Oct 27, 2021

Human Pose and Action Recognition参考文献 58被引用 5

一句话总结

TRAIL 提出了一种两阶段模仿学习框架，利用次优的离线数据，通过对比能量模型构建的转移模型来学习因子化的潜在动作空间，从而在有限的专家演示下实现样本高效的模仿克隆。该方法通过使用学习到的动力学模型重参数化动作，在预训练数据为高度次优（如随机策略）的情况下，仍能将基线模仿学习的性能提升高达4倍。

ABSTRACT

The aim in imitation learning is to learn effective policies by utilizing near-optimal expert demonstrations. However, high-quality demonstrations from human experts can be expensive to obtain in large numbers. On the other hand, it is often much easier to obtain large quantities of suboptimal or task-agnostic trajectories, which are not useful for direct imitation, but can nevertheless provide insight into the dynamical structure of the environment, showing what could be done in the environment even if not what should be done. We ask the question, is it possible to utilize such suboptimal offline datasets to facilitate provably improved downstream imitation learning? In this work, we answer this question affirmatively and present training objectives that use offline datasets to learn a factored transition model whose structure enables the extraction of a latent action space. Our theoretical analysis shows that the learned latent action space can boost the sample-efficiency of downstream imitation learning, effectively reducing the need for large near-optimal expert datasets through the use of auxiliary non-expert data. To learn the latent action space in practice, we propose TRAIL (Transition-Reparametrized Actions for Imitation Learning), an algorithm that learns an energy-based transition model contrastively, and uses the transition model to reparametrize the action space for sample-efficient imitation learning. We evaluate the practicality of our objective through experiments on a set of navigation and locomotion tasks. Our results verify the benefits suggested by our theory and show that TRAIL is able to improve baseline imitation learning by up to 4x in performance.

研究动机与目标

• 为解决模仿学习中大规模专家演示获取成本过高的问题。
• 探究是否可利用次优或任务无关的离线轨迹来提升下游模仿学习性能，即使其性能较低。
• 开发一种理论基础扎实的方法，利用离线数据学习潜在动作空间，以提升专家模仿学习的样本效率。
• 避免依赖时间抽象或层次化结构，转而聚焦于动作表征学习，以提升控制效率。
• 设计一种实用算法，仅使用专家演示和离线数据，即可在重参数化的潜在空间中实现行为克隆。

提出的方法

• TRAIL 使用基于能量模型（EBM）的对比损失，在次优离线数据上预训练因子化转移模型。
• 该方法学习一个配对的动作解码器，将潜在动作映射回环境动作，从而实现动作的重参数化。
• 利用学习到的转移模型和动作解码器，将专家演示重新参数化到潜在动作空间中。
• 在潜在空间中通过行为克隆执行下游模仿学习，使用最大似然估计学习潜在策略。
• 推理阶段，将潜在策略与动作解码器结合，生成原始动作空间中的动作。
• 该框架采用基于EBM和线性转移模型的两种变体实现，且在特定因子化条件下具备样本效率的理论保证。

实验结果

研究问题

• RQ1 是否可以利用次优离线数据在无需奖励信号的情况下提升模仿学习的样本效率？
• RQ2 从次优数据中学习因子化的潜在动作空间是否能带来可证明的下游模仿学习性能提升？
• RQ3 通过学习到的转移模型进行动作重参数化，是否能优于依赖时间抽象或层次化技能发现的方法？
• RQ4 该方法对低质量或高度次优的离线数据（如随机策略轨迹）的鲁棒性如何？
• RQ5 当仅提供专家演示而无任何奖励标签时，该方法能否实现与使用奖励标签的离线强化学习方法相当的性能？

主要发现

• TRAIL 在导航和运动控制任务上，即使在高度次优数据（如随机策略）上预训练，也能将基线模仿学习性能提升高达4倍。
• 当离线数据集缩减至RL Unplugged数据分布的最低5%时，该方法性能保持稳定，而时间技能提取方法性能显著下降。
• 在DeepMind Control Suite任务中，TRAIL在低维和高维控制问题上均优于基于时间抽象的方法。
• 在6项任务中的4项上，TRAIL的性能与CRR（一种离线强化学习方法）相当或更优，且未使用任何奖励标签。
• 当专家数据稀缺（如10k条轨迹）时，TRAIL的线性变体性能略优于EBM变体，支持了关于确定性潜在策略的理论分析。
• 理论分析表明，潜在动作空间可降低模仿学习的样本复杂度，且即使在潜在空间中无时间抽象的情况下，该理论保证依然成立。