[论文解读] OIL: Observational Imitation Learning

Guohao Li, Matthias Mueller+4 more|arXiv (Cornell University)|Mar 3, 2018

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出观测模仿学习（OIL），一种新颖的模仿学习框架，通过观察多个不完美的教师，仅选择表现最佳的驾驶行为进行在线奖励评估，从而训练控制策略。OIL 在自动驾驶和无人机竞速任务的仿真中，超越了所有单个教师、传统模仿学习与强化学习基线方法，甚至优于人类专家，其性能得益于模块化感知-控制架构以及在线轨迹选择机制。

ABSTRACT

Recent work has explored the problem of autonomous navigation by imitating a teacher and learning an end-to-end policy, which directly predicts controls from raw images. However, these approaches tend to be sensitive to mistakes by the teacher and do not scale well to other environments or vehicles. To this end, we propose Observational Imitation Learning (OIL), a novel imitation learning variant that supports online training and automatic selection of optimal behavior by observing multiple imperfect teachers. We apply our proposed methodology to the challenging problems of autonomous driving and UAV racing. For both tasks, we utilize the Sim4CV simulator that enables the generation of large amounts of synthetic training data and also allows for online learning and evaluation. We train a perception network to predict waypoints from raw image data and use OIL to train another network to predict controls from these waypoints. Extensive experiments demonstrate that our trained network outperforms its teachers, conventional imitation learning (IL) and reinforcement learning (RL) baselines and even humans in simulation. The project website is available at https://sites.google.com/kaust.edu.sa/oil/ and a video at https://youtu.be/_rhq8a0qgeg

研究动机与目标

• 解决传统模仿学习的局限性，后者依赖高质量专家数据，且对教师错误敏感。
• 克服现有模仿学习与强化学习方法在复杂导航任务中面对不完美或多样化教师时的可扩展性与鲁棒性问题。
• 实现仅使用教师轨迹、无需人工标注示范，即可从原始图像观测端到端训练控制策略。
• 设计一种模块化架构，将感知（路径点预测）与控制（动作预测）解耦，提升在不同环境中的适应能力。
• 通过训练过程中在线、基于奖励的最优行为选择，实现超越教师与人类专家的性能表现。

提出的方法

• 使用教师轨迹的模仿学习，训练感知网络从原始图像输入中预测路径点。
• 利用控制网络将预测的路径点与车辆状态映射为控制动作（如油门、方向盘、副翼）。
• 应用在线奖励评估，在每个状态对教师行为进行评分，仅选择高性能行为用于策略更新。
• 通过可微分的在线优化方法训练控制策略，聚合来自多个教师的最佳动作，舍弃表现欠佳的行为。
• 利用 Sim4CV 模拟器在多样化环境（汽车与无人机竞速）中实现高保真、实时的训练与评估。
• 通过将环境奖励作为标准，选择用于策略更新的教师轨迹，将强化学习思想融入模仿学习。

实验结果

研究问题

• RQ1 能否通过有选择地学习教师最佳行为，训练出超越多个不完美教师的策略？
• RQ2 与标准行为克隆或 DAGGER 相比，在线、基于奖励的轨迹选择在模仿学习中如何提升泛化能力与鲁棒性？
• RQ3 在不重新训练感知或控制网络的前提下，OIL 在不同环境与车辆动力学下的泛化能力如何？
• RQ4 在自动驾驶与无人机竞速等复杂导航任务中，OIL 是否能实现超越人类专家的性能？
• RQ5 轨迹长度与教师数量在多大程度上影响所学策略的稳定性与性能？

主要发现

• 在自动驾驶与无人机竞速任务中，OIL 均超越所有单个教师，平均道路中心偏差为 17.6 米，平均完成一圈用时 80.7 秒。
• 在五名教师、300 步轨迹的训练下，OIL 实现 17.6 米平均偏差与 80.7 秒圈速，优于表现最佳的教师（15.3 米偏差，80.5 秒），在速度上更优且保持更低偏差。
• 在三名教师（1、3、4）且 300 步轨迹下训练的 OIL 实现 25.8 米平均偏差，表明增加教师数量可提升鲁棒性并降低偏差。
• OIL 在无人机竞速任务中成功通过所有门框，平均速度领先人类专家 3.83 秒，且中心线偏差降低至专家的 35.91%。
• 该方法对轨迹长度与教师数量变化具有鲁棒性，最优性能在 300 步轨迹与五名教师时达成。
• OIL 超越了最先进的模仿学习与强化学习基线方法（包括 DDPG 与行为克隆），在仿真中实现与或优于经验丰富的飞行员的性能。