[论文解读] Off-Policy Imitation Learning from Observations

Zhuangdi Zhu, Kaixiang Lin+2 more|arXiv (Cornell University)|Feb 25, 2021

Multimodal Machine Learning Applications被引用 7

一句话总结

该论文提出OPOLO，一种样本高效的离策略模仿学习方法，用于从观察中学习（LfO），且无需专家动作示范。通过推导LfO目标的上界并引入逆动作模型正则化，OPOLO实现了离策略优化，并通过模式覆盖加速学习，在运动基准测试中实现了最先进的样本效率与渐近性能表现。

ABSTRACT

Learning from Observations (LfO) is a practical reinforcement learning scenario from which many applications can benefit through the reuse of incomplete resources. Compared to conventional imitation learning (IL), LfO is more challenging because of the lack of expert action guidance. In both conventional IL and LfO, distribution matching is at the heart of their foundation. Traditional distribution matching approaches are sample-costly which depend on on-policy transitions for policy learning. Towards sample-efficiency, some off-policy solutions have been proposed, which, however, either lack comprehensive theoretical justifications or depend on the guidance of expert actions. In this work, we propose a sample-efficient LfO approach that enables off-policy optimization in a principled manner. To further accelerate the learning procedure, we regulate the policy update with an inverse action model, which assists distribution matching from the perspective of mode-covering. Extensive empirical results on challenging locomotion tasks indicate that our approach is comparable with state-of-the-art in terms of both sample-efficiency and asymptotic performance.

研究动机与目标

• 为解决在缺乏专家动作的情况下，从观察中学习（LfO）面临的样本效率低下问题，通过实现离策略优化来应对。
• 开发一种理论基础扎实的离策略LfO方法，不依赖专家动作监督。
• 通过引入逆动作模型正则化，促进分布匹配中的模式覆盖，从而加速LfO中的学习。
• 在复杂运动任务上，实现样本效率与渐近性能的最先进表现。

提出的方法

• 推导LfO目标的上界，消除对专家动作的需求，从而支持离策略优化。
• 使用离策略回放缓冲区存储并重用转移样本，提升数据效率。
• 引入逆动作模型正则化，以鼓励智能体覆盖多样化的专家行为，增强分布匹配效果。
• 在确定性环境假设下，通过学习逆模型来实施该正则化。
• 使用离策略深度强化学习算法（如SAC或TD3）优化联合目标。
• 采用基于f-散度的分布匹配方法，使用灵活的f-函数族，包括选择q=p=2以提升稳定性。

实验结果

研究问题

• RQ1 在缺乏专家动作的情况下，能否实现离策略模仿学习的样本高效？
• RQ2 在不依赖在线策略数据或专家动作监督的情况下，如何优化LfO中的分布匹配？
• RQ3 逆动作模型正则化对LfO中学习速度与分布覆盖的影响如何？
• RQ4 基于原理的离策略LfO方法能否在样本效率与渐近回报两方面均实现最先进性能？

主要发现

• OPOLO在所有评估的运动任务中均实现了最先进的样本效率与渐近性能，优于现有的离策略与在线策略基线方法。
• 消融实验表明，若移除逆动作正则化，样本效率略有下降，尤其在HalfCheetah与Ant等高难度环境中更为明显。
• 逆动作正则化显著加速了学习过程，通过促进模式覆盖，与主目标的模式搜索行为形成互补。
• OPOLO在不同f-散度函数下表现稳定，其中q=p=2提供了最鲁棒且一致的结果。
• OPOLO-x（无逆正则化的变体）与OPOLO及DAC的渐近性能相当，表明主目标本身已足够实现专家级性能。