[论文解读] Robust Imitation Learning from Noisy Demonstrations

Voot Tangkaratt, Nontawat Charoenphakdee+1 more|arXiv (Cornell University)|Oct 20, 2020

Machine Learning and Data Classification参考文献 37被引用 6

一句话总结

该论文提出RIL-Co，一种鲁棒模仿学习方法，在无需专家标注标签或严格噪声分布假设的前提下，从噪声演示中实现最先进性能。通过在对称损失最小化中理论化鲁棒模仿学习，并利用协同伪标签法估计非专家数据密度，RIL-Co在连续控制基准测试中优于现有方法，尤其在高噪声率下表现更优。

ABSTRACT

Robust learning from noisy demonstrations is a practical but highly challenging problem in imitation learning. In this paper, we first theoretically show that robust imitation learning can be achieved by optimizing a classification risk with a symmetric loss. Based on this theoretical finding, we then propose a new imitation learning method that optimizes the classification risk by effectively combining pseudo-labeling with co-training. Unlike existing methods, our method does not require additional labels or strict assumptions about noise distributions. Experimental results on continuous-control benchmarks show that our method is more robust compared to state-of-the-art methods.

研究动机与目标

• 解决在真实场景中从低质量、噪声人类演示中进行模仿学习的挑战。
• 消除现有鲁棒IL方法对专家标注标签或噪声分布强假设的依赖。
• 开发一种理论基础扎实、数据高效的方法，在高噪声率下仍保持性能。
• 通过结合对称损失优化与协同伪标签法，提升模仿学习的鲁棒性与泛化能力。

提出的方法

• 该方法基于理论证明：通过最小化具有对称损失函数的分类风险，可实现鲁棒模仿学习。
• 提出协同伪标签法，将伪标签法与协同训练结合，以在不发生过拟合的前提下估计非专家演示的数据密度。
• 通过使用对标签噪声不变的对称损失，避免显式建模噪声分布。
• 算法采用双网络架构，其中一个网络预测动作，另一个通过协同训练估计非专家数据的置信度。
• 超参数选择基于理论推导，无需大量调参。
• 通过使用对称损失（如绝对惩罚损失）优化分类风险，提升对标签噪声的鲁棒性。

实验结果

研究问题

• RQ1 能否在不依赖额外专家标签或对噪声分布强假设的前提下实现鲁棒模仿学习？
• RQ2 在无标注数据的情况下，如何有效估计非专家演示的数据密度？
• RQ3 在噪声演示下，使用对称损失函数对模仿学习有何影响？
• RQ4 与朴素伪标签法相比，协同伪标签法在鲁棒性与泛化能力方面表现如何？
• RQ5 所提方法能否在不进行超参数调优的情况下，于不同噪声率下保持性能？

主要发现

• RIL-Co在多个连续控制基准测试中优于最先进方法，包括VILD和行为克隆，尤其在高噪声率下（如δ=0.4）表现更优。
• 在噪声率δ=0.4时，RIL-Co实现更优的最终性能，且使用的过渡样本显著少于对比方法，展现出优异的数据效率。
• 消融实验表明，将对称绝对惩罚（AP）损失与协同伪标签法结合可获得最佳性能，凸显了两个组件的重要性。
• 在高斯噪声数据集上（VILD的假设成立），RIL-Co在使用2000万样本的情况下性能与VILD相当，尽管其依赖更宽松的数据假设。
• 当非专家演示由策略快照生成（未添加噪声）时，RIL-Co仍保持强性能，而VILD因违反其高斯假设而失效。
• 轨迹可视化显示，RIL-Co策略与专家演示高度接近，证实了成功策略模仿。