[论文解读] What Matters in Learning from Offline Human Demonstrations for Robot Manipulation

Ajay Mandlekar, Danfei Xu+8 more|arXiv (Cornell University)|Aug 6, 2021

Reinforcement Learning in Robotics参考文献 84被引用 70

一句话总结

本论文对机器人操作的离线学习进行了全面研究，基于人类示范，在多任务和数据质地下比较六种算法，并为观察空间、历史依赖和数据集规模提供实用见解。

ABSTRACT

Imitating human demonstrations is a promising approach to endow robots with various manipulation capabilities. While recent advances have been made in imitation learning and batch (offline) reinforcement learning, a lack of open-source human datasets and reproducible learning methods make assessing the state of the field difficult. In this paper, we conduct an extensive study of six offline learning algorithms for robot manipulation on five simulated and three real-world multi-stage manipulation tasks of varying complexity, and with datasets of varying quality. Our study analyzes the most critical challenges when learning from offline human data for manipulation. Based on the study, we derive a series of lessons including the sensitivity to different algorithmic design choices, the dependence on the quality of the demonstrations, and the variability based on the stopping criteria due to the different objectives in training and evaluation. We also highlight opportunities for learning from human datasets, such as the ability to learn proficient policies on challenging, multi-stage tasks beyond the scope of current reinforcement learning methods, and the ability to easily scale to natural, real-world manipulation scenarios where only raw sensory signals are available. We have open-sourced our datasets and all algorithm implementations to facilitate future research and fair comparisons in learning from human demonstration data. Codebase, datasets, trained models, and more available at https://arise-initiative.github.io/robomimic-web/

研究动机与目标

• 评估从机器人操作中的离线人类示范学习所面临的挑战。
• 在模拟和真实任务中比较六种离线学习算法，数据集质量各不相同。
• 识别对性能具有关键影响的设计选择（历史、观测空间、超参数）。
• 提供可操作的指南以及开源数据集/代码，以实现可重复的研究。

提出的方法

• 评估六种算法：行为克隆（BC）、带RNN的BC（BC-RNN）、分层BC（HBC）、BCQ、保守Q学习（CQL）和IRIS。
• 使用五个模拟任务和三个真实世界的多阶段操作任务。
• 从机器生成、熟练人类和多人类来源收集数据集，具有低维与图像观测空间。
• 使用二元任务奖励训练策略，并在线评估检查点以识别表现最佳的策略。
• 分析观测空间、历史、数据集规模和超参数的影响。
• 提供开源数据集、代码和训练好的模型以实现公平比较。

实验结果

研究问题

• RQ1 在从人类示范学习时，历史相关模型相对于静态策略的表现如何？
• RQ2 数据质量（单人类 vs 多人类）如何影响离线学习性能？
• RQ3 观测空间（低维 vs 图像）对基于人类数据的策略学习有何影响？
• RQ4 数据集规模和超参数如何影响操作任务的离线学习？
• RQ5 研究结论能否从仿真转移到现实世界的机器人任务？

主要发现

• 历史相关模型（BC-RNN、HBC、IRIS）在有人类数据集上的表现优于非时序基线，尤其是在较长时域任务和多人类数据上。
• 批量强化学习方法（BCQ、CQL）在机器生成数据上表现出色，但在有人类示范数据上表现不足。
• 观测空间和超参数对性能有显著影响；包括相关的本体感受信号有助于学习，而不必要的信号可能有害，像素随机化以及腕部相机观测有助于提升视觉-运动学习。
• 更大且高质量的人类数据集能够在复杂任务上实现熟练策略；通过仔细的观测和训练选择，仿真结果可以转移到现实世界任务。
• 离线强化学习中的模型选择并非易事；在仿真中在线评估策略表明最优策略可能与验证损失或最终检查点选择不同。
• 腕部相机观测和图像随机化对于现实世界的视觉-运动模仿很重要。