[论文解读] RLIF: Interactive Imitation Learning as Reinforcement Learning

Jianlan Luo, Perry Dong+3 more|arXiv (Cornell University)|Nov 21, 2023

Reinforcement Learning in Robotics被引用 7

一句话总结

本文提出RLIF，一种强化学习框架，将交互式模仿学习中的人员干预信号视为奖励信号，使策略能够超越次优专家行为。通过在干预反馈而非专家演示上进行训练，RLIF在高维控制任务中表现更优，尤其当专家表现不佳时，且在样本复杂度和次优性差距方面提供了理论保证。

ABSTRACT

Although reinforcement learning methods offer a powerful framework for automatic skill acquisition, for practical learning-based control problems in domains such as robotics, imitation learning often provides a more convenient and accessible alternative. In particular, an interactive imitation learning method such as DAgger, which queries a near-optimal expert to intervene online to collect correction data for addressing the distributional shift challenges that afflict naïve behavioral cloning, can enjoy good performance both in theory and practice without requiring manually specified reward functions and other components of full reinforcement learning methods. In this paper, we explore how off-policy reinforcement learning can enable improved performance under assumptions that are similar but potentially even more practical than those of interactive imitation learning. Our proposed method uses reinforcement learning with user intervention signals themselves as rewards. This relaxes the assumption that intervening experts in interactive imitation learning should be near-optimal and enables the algorithm to learn behaviors that improve over the potential suboptimal human expert. We also provide a unified framework to analyze our RL method and DAgger; for which we present the asymptotic analysis of the suboptimal gap for both methods as well as the non-asymptotic sample complexity bound of our method. We then evaluate our method on challenging high-dimensional continuous control simulation benchmarks as well as real-world robotic vision-based manipulation tasks. The results show that it strongly outperforms DAgger-like approaches across the different tasks, especially when the intervening experts are suboptimal. Code and videos can be found on the project website: https://rlif-page.github.io

研究动机与目标

• 解决交互式模仿学习的局限性，即假设专家干预近乎最优，且无法超越专家表现。
• 使强化学习在类似交互式模仿学习的实际假设下运行，而无需依赖真实奖励函数。
• 形式化一个统一的理论框架，用于分析RLIF与DAgger，包括渐近次优性差距和有限样本复杂度边界。
• 通过实证验证，RLIF在专家干预次优时优于DAgger类方法。
• 研究干预策略与专家次优性对学习性能的影响。

提出的方法

• RLIF将策略滚动过程中的人类干预决策视为隐式奖励信号，对触发干预的动作赋予负奖励。
• 该方法使用离策略强化学习优化策略，以最小化干预频率，从而学习避免引发修正的行为。
• 引入一个奖励函数 $ \tilde{r}_{\delta}(s,a) $，用于编码干预发生的可能性，其中 $ \delta $ 控制干预检测的敏感度。
• 理论分析表明，RLIF的样本复杂度被限制在 $ \widetilde{O}\left(\frac{SC^{\star}_{\mathrm{exp}}}{(1-\gamma)^3\epsilon^2}\right) $，与使用真实奖励的标准强化学习相当。
• 构建了一个统一框架以比较RLIF与DAgger，支持在相同假设下对渐近次优性差距进行分析。
• 该方法在连续控制基准任务和真实世界基于视觉的机器人操作任务上进行了评估，使用包含次优干预的人机协同数据。

实验结果

研究问题

• RQ1 能否在干预并非最优的模仿学习数据上有效应用强化学习，同时仍能获得性能更优的策略？
• RQ2 RLIF的性能如何依赖于专家的次优性及干预策略？
• RQ3 使用干预反馈作为奖励信号学习 $ \epsilon $-最优策略的理论样本复杂度是多少？
• RQ4 在相似假设下，RLIF的渐近次优性差距与DAgger相比如何？
• RQ5 RLIF能否泛化到高维、基于视觉的机器人控制任务中，且在专家演示次优时仍有效？

主要发现

• 在高维连续控制模拟和真实世界机器人操作任务中，RLIF显著优于DAgger类方法，尤其当专家干预次优时。
• 该方法实现了 $ \widetilde{O}\left(\frac{SC^{\star}_{\mathrm{exp}}}{(1-\gamma)^3\epsilon^2}\right) $ 的样本复杂度边界，与使用真实奖励的标准强化学习的理论样本复杂度一致。
• 实证消融分析证实，性能对干预模型和专家次优性敏感，验证了理论依据。
• RLIF的渐近次优性差距与DAgger类似，呈线性关系，但因奖励最大化而具有更优的常数因子。
• RLIF使策略能够学习避免触发干预的情境，而不仅仅是模仿纠正动作，从而实现更鲁棒和泛化性更强的行为。
• 理论分析表明，$ \left|\Pi^{\mathrm{opt}}_{\delta}\right| $（在干预奖励下最优策略集的直径）随 $ \delta $ 单调递减，表明干预检测能力越强，策略改进越一致。