[论文解读] Provably Efficient Imitation Learning from Observation Alone

Wen Sun, Anirudh Vemula+2 more|arXiv (Cornell University)|May 27, 2019

Reinforcement Learning in Robotics参考文献 46被引用 20

一句话总结

本文提出 FAIL（Forward Adversarial Imitation Learning），一种无需动作或奖励信号的无模型模仿学习算法，仅依赖专家的观测轨迹（ILfO）。FAIL 通过最小化专家与学习者在时间步上的观测分布之间的积分概率度量（IPM），实现可证明高效的模仿学习，其样本复杂度与观测空间大小无关，适用于具有高维观测（如像素输入）的大规模马尔可夫决策过程（MDP）。

ABSTRACT

We study Imitation Learning (IL) from Observations alone (ILFO) in large-scale MDPs. While most IL algorithms rely on an expert to directly provide actions to the learner, in this setting the expert only supplies sequences of observations. We design a new model-free algorithm for ILFO, Forward Adversarial Imitation Learning (FAIL), which learns a sequence of time-dependent policies by minimizing an Integral Probability Metric between the observation distributions of the expert policy and the learner. FAIL is the first provably efficient algorithm in ILFO setting, which learns a near-optimal policy with a number of samples that is polynomial in all relevant parameters but independent of the number of unique observations. The resulting theory extends the domain of provably sample efficient learning algorithms beyond existing results, which typically only consider tabular reinforcement learning settings or settings that require access to a near-optimal reset distribution. We also investigate the extension of FAIL in a model-based setting. Finally we demonstrate the efficacy of FAIL on multiple OpenAI Gym control tasks.

研究动机与目标

• 解决仅能访问专家观测而无法获取动作或奖励信号时的模仿学习挑战。
• 为具有高维观测的大规模 MDP 设计一种样本高效且计算高效的算法。
• 通过确保样本复杂度仅依赖于函数类复杂度而非唯一观测数量，实现 ILfO 中的可证明样本效率。
• 将可证明高效的模仿学习适用范围从表格型设置和需要近似最优重置分布的设置中拓展出去。
• 开发一种仅使用观测序列即可在各类控制任务中有效泛化的实用算法。

提出的方法

• FAIL 将 ILfO 建模为 H 个独立的时间步两阶段极小极大博弈，其中每个策略被优化以在下一步匹配专家的观测分布。
• 采用积分概率度量（IPM）作为学习者与专家观测分布之间的差异度量，通过一组判别器实现分布匹配。
• 该算法采用极小极大优化框架：判别器被更新以最大化 IPM 期望值的差异，而策略通过使用在线策略样本的策略梯度进行更新。
• 一个关键创新是使用在线策略样本估计策略梯度，从而实现高效且稳定的训练，无需依赖离线策略数据。
• 该方法被扩展至模型化设置，并在 FAIL*（算法 5）中进一步增强，通过重用中间轨迹状态提升样本效率。
• 该算法利用线性规划（LP）预言机求解判别器最大化步骤，并使用随机梯度下降进行策略更新，确保计算效率。

实验结果

研究问题

• RQ1 我们能否设计一种仅从观测中进行、无需访问专家动作的可证明样本高效的模仿学习算法？
• RQ2 所提方法是否实现关于相关参数为多项式且与唯一观测数量无关的样本复杂度？
• RQ3 该算法在具有高维观测（如原始图像）的大规模 MDP 中是否能有效泛化？
• RQ4 与现有手工设计成本函数或行为克隆方法相比，使用在线策略样本和基于 IPM 的分布匹配有何优势？
• RQ5 在示范数据有限的情况下，该算法在连续控制任务中的实际性能如何？

主要发现

• FAIL 在 ILfO 设置下实现了可证明高效的模仿学习，其样本复杂度在所有相关参数中为多项式，且与观测空间基数无关。
• 该算法在 OpenAI Gym 控制任务中表现出强劲的实证性能，优于 GAIL（无动作版本）和标准行为克隆基线，尤其在低数据场景下表现更优。
• FAIL*（算法 5）通过重用中间轨迹状态，显著提升了样本效率，尤其在训练数据有限时（如 0.25 百万样本）表现突出。
• 该方法成功学习到近似最优策略，且无需专家动作、奖励函数或近似最优重置分布。
• 在 Swimmer、Hopper 和 Reacher 任务上的实证结果表明，该方法在 10 个随机种子下均表现出一致的性能提升，验证了方法的鲁棒性。
• 理论分析表明，该算法通过预言机高效的调用保持了计算效率，并避免了对观测空间大小的指数依赖。