[论文解读] VILD: Variational Imitation Learning with Diverse-quality Demonstrations

Voot Tangkaratt, Bo Han+2 more|arXiv (Cornell University)|Sep 15, 2019

Reinforcement Learning in Robotics参考文献 49被引用 4

一句话总结

VILD 提出了一种变分模仿学习方法，通过使用概率图模型对示范者的专业水平进行建模，从而在不了解专家质量的先验知识下，从不同质量的示范中实现鲁棒的策略学习。通过将变分推断与重要性采样相结合，VILD 在连续控制基准测试中实现了最先进性能，展示了在真实模仿学习场景中具备可扩展性和数据效率。

ABSTRACT

The goal of imitation learning (IL) is to learn a good policy from high-quality demonstrations. However, the quality of demonstrations in reality can be diverse, since it is easier and cheaper to collect demonstrations from a mix of experts and amateurs. IL in such situations can be challenging, especially when the level of demonstrators' expertise is unknown. We propose a new IL method called \underline{v}ariational \underline{i}mitation \underline{l}earning with \underline{d}iverse-quality demonstrations (VILD), where we explicitly model the level of demonstrators' expertise with a probabilistic graphical model and estimate it along with a reward function. We show that a naive approach to estimation is not suitable to large state and action spaces, and fix its issues by using a variational approach which can be easily implemented using existing reinforcement learning methods. Experiments on continuous-control benchmarks demonstrate that VILD outperforms state-of-the-art methods. Our work enables scalable and data-efficient IL under more realistic settings than before.

研究动机与目标

• 解决在示范质量参差不齐且专家水平未知的情况下模仿学习的挑战。
• 开发一种可扩展的方法，能够同时从低质量与高质量示范中估计示范者专业水平和奖励函数。
• 通过在概率框架中将专业水平建模为隐变量，提升模仿学习的数据效率和鲁棒性。
• 实现在真实世界场景中模仿学习的实际部署，其中高质量专家示范稀缺或不可用。

提出的方法

• VILD 使用概率图模型将示范者专业水平建模为隐变量，实现专业水平与奖励函数的联合估计。
• 采用变分推断方法近似专业水平与策略的不可计算后验分布，使方法可扩展至高维状态和动作空间。
• 使用变分下界（ELBO）优化示范与估计专业水平的联合似然。
• 应用重要性采样根据估计的专业水平重新加权轨迹，提升策略学习过程中的数据效率。
• 该框架使用标准强化学习算法实现，支持与深度强化学习方法的集成。
• 奖励函数与策略及专业水平估计端到端联合训练，使模型能够从混合质量的数据中学习。

实验结果

研究问题

• RQ1 当缺乏真实标签或额外专家信号时，概率模型能否有效估计示范者的潜在专业水平？
• RQ2 如何利用变分推断将模仿学习扩展至具有多样化质量示范的高维连续控制任务？
• RQ3 基于估计专业水平的重要性采样在多大程度上提升了模仿学习的数据效率？
• RQ4 在混合质量示范上训练时，VILD 与最先进方法相比在性能和鲁棒性方面表现如何？
• RQ5 联合估计奖励函数与专业水平是否能带来优于假设专家质量固定的方法的策略性能？

主要发现

• 即使示范中包含大量低质量轨迹，VILD 在连续控制基准测试中仍优于最先进模仿学习方法。
• 该方法通过有效识别并降低低质量示范的影响，实现更优性能。
• VILD 对噪声和多样化的示范表现出鲁棒性，在专家示范稀缺时仍能保持高策略性能。
• 变分推断的集成使高维状态和动作空间的可扩展训练成为可能，克服了精确推断的局限性。
• 基于估计专业水平的重要性采样显著提升了数据效率，减少了对高质量示范的依赖。
• 实证结果证实，联合学习奖励函数与专业水平可带来优于假设已知或固定专家质量方法的策略优化效果。