[论文解读] Provable Representation Learning for Imitation Learning via Bi-level Optimization

Sanjeev Arora, Simon S. Du+3 more|arXiv (Cornell University)|Feb 24, 2020

Reinforcement Learning in Robotics参考文献 37被引用 4

一句话总结

本文提出了一种双层优化框架，用于模仿学习中的可证明表征学习，通过从多个专家轨迹中学习共享表征以降低样本复杂度。该方法在行为克隆和仅观察设置下均提供了理论保证，表明表征学习可显著提升模仿学习任务中的样本效率。

ABSTRACT

A common strategy in modern learning systems is to learn a representation that is useful for many tasks, a.k.a. representation learning. We study this strategy in the imitation learning setting for Markov decision processes (MDPs) where multiple experts' trajectories are available. We formulate representation learning as a bi-level optimization problem where the "outer" optimization tries to learn the joint representation and the "inner" optimization encodes the imitation learning setup and tries to learn task-specific parameters. We instantiate this framework for the imitation learning settings of behavior cloning and observation-alone. Theoretically, we show using our framework that representation learning can provide sample complexity benefits for imitation learning in both settings. We also provide proof-of-concept experiments to verify our theory.

研究动机与目标

• 通过利用来自多个专家演示的表征学习，解决模仿学习中的高样本复杂度问题。
• 将模仿学习中的表征学习形式化为双层优化问题，将共享表征学习与任务特定策略学习分离。
• 在专家动作可观测（行为克隆）和不可观测（仅观察）两种设置下，为模仿学习提供可证明的样本复杂度优势。
• 通过在 NoisyCombinationLock 和 SwimmerVelocity 等环境中的实验，对理论洞见进行实证验证。
• 弥合监督学习中多任务表征学习与单任务模仿学习之间的差距，提供非凸损失的保证。

提出的方法

• 将模仿学习形式化为双层优化：外层学习共享表征，内层通过模仿学习任务特定策略。
• 在行为克隆中，内层优化通过最小化专家动作与策略输出之间的交叉熵来实现，使用共享表征。
• 在仅观察设置中，内层优化采用受 Sun et al. (2019) 启发的最小-最大公式，使代理能够与环境交互以推断策略。
• 该框架允许代理在仅观察设置中与环境交互，从而在无专家动作访问的情况下实现策略学习。
• 表征由神经网络（例如，ReLU 激活的线性层）参数化，与任务特定头端到端联合优化。
• 整体损失结合所有任务的行为克隆目标，最小化在共享表征条件下策略对专家动作的负对数似然。

实验结果

研究问题

• RQ1 当多个专家演示不同的 MDP 时，表征学习是否能可证明地降低模仿学习中的样本复杂度？
• RQ2 该双层优化框架是否能在专家动作可观测的行为克隆设置中实现有效的表征学习？
• RQ3 该框架是否能推广到专家动作隐藏的更具挑战性的仅观察设置？
• RQ4 与从零开始学习相比，使用共享表征的理论样本复杂度优势是什么？
• RQ5 该框架在复杂环境中减少策略学习样本需求方面的实际表现如何？

主要发现

• 所提出的双层优化框架在行为克隆和仅观察模仿学习设置中均提供了可证明的样本复杂度优势。
• 在行为克隆中，框架表明在足够多专家存在的情况下，表征可减少新任务所需的演示数量。
• 在仅观察设置中，最小-最大内层优化使无专家动作监督的策略学习成为可能，并具备样本效率的理论保证。
• 在 NoisyCombinationLock 和 SwimmerVelocity 上的实验表明，表征学习可实现更少演示下的更快策略收敛。
• 使用学习到的表征进行策略优化，相比从随机初始化训练，能在更少训练步数内获得更高回报。
• 该框架成功实现跨任务泛化，表明从多样化专家中学到的表征可提升零样本迁移至新模仿学习任务的能力。