[论文解读] Understanding Multi-Modal Perception Using Behavioral Cloning for Peg-In-a-Hole Insertion Tasks

Yifang Liu, Diego Romeres+2 more|arXiv (Cornell University)|Jul 22, 2020

Robot Manipulation and Learning参考文献 24被引用 9

一句话总结

本文提出一种行为克隆方法，采用多步 ahead 损失函数，以提升在使用多模态传感输入（视觉、力/力矩、本体感知）的插孔任务中对鲁棒性的要求。通过在自动化演示数据上进行训练，并在测试时避免依赖末端执行器位置，该方法在机器人整个工作空间内实现了 100% 的成功率，表明无需目标依赖的控制器优于依赖精确末端执行器反馈的控制器。

ABSTRACT

One of the main challenges in peg-in-a-hole (PiH) insertion tasks is in handling the uncertainty in the location of the target hole. In order to address it, high-dimensional sensor inputs from sensor modalities such as vision, force/torque sensing, and proprioception can be combined to learn control policies that are robust to this uncertainty in the target pose. Whereas deep learning has shown success in recognizing objects and making decisions with high-dimensional inputs, the learning procedure might damage the robot when applying directly trial- and-error algorithms on the real system. At the same time, learning from Demonstration (LfD) methods have been shown to achieve compelling performance in real robotic systems by leveraging demonstration data provided by experts. In this paper, we investigate the merits of multiple sensor modalities such as vision, force/torque sensors, and proprioception when combined to learn a controller for real world assembly operation tasks using LfD techniques. The study is limited to PiH insertions; we plan to extend the study to more experiments in the future. Additionally, we propose a multi-step-ahead loss function to improve the performance of the behavioral cloning method. Experimental results on a real manipulator support our findings, and show the effectiveness of the proposed loss function.

研究动机与目标

• 研究结合视觉、力/力矩和末端执行器测量在机器人插孔插入任务中的有效性。
• 通过提出多步 ahead 损失函数，解决行为克隆中状态分布偏移的挑战。
• 评估在目标位置不确定的场景下，末端执行器位置是否对高性能控制是必要的。
• 确定在真实机器人操作中，原始传感数据还是特征工程输入能带来更好的泛化性能。
• 开发一种可在整个机器人工作空间内泛化的无目标依赖控制器。

提出的方法

• 作者使用行为克隆从自动化演示中学习控制策略，而非人类演示，以减少噪声和成本。
• 提出一种新颖的多步 ahead 损失函数，使策略在多个未来步骤（K=2,3）内预测能引导至接近专家轨迹状态的动作。
• 该方法结合了多模态传感输入：来自腕部摄像头的RGB图像、力/力矩传感器读数以及末端执行器位置测量值。
• 策略网络采用基于 ResNet 的模型，并通过消融研究比较原始传感输入与手工设计特征的性能差异。
• 训练过程采用监督学习目标，最小化预测动作与未来步骤序列中示范动作之间的差异。
• 该方法在测试时避免直接使用末端执行器位置，以提升对目标位置不确定性的泛化能力和鲁棒性。

实验结果

研究问题

• RQ1 结合视觉、力/力矩和末端执行器数据是否能提升插孔插入任务的性能？
• RQ2 多步 ahead 损失函数是否能减轻真实机器人系统中行为克隆的状态分布偏移影响？
• RQ3 末端执行器位置是否对成功插入是必要的，还是仅使用视觉和力反馈即可学习到无目标依赖的控制器？
• RQ4 在目标位置不确定的情况下，使用原始传感数据还是特征工程输入能带来更好的泛化性能？
• RQ5 多步 ahead 损失的时域范围（K=1,2,3）如何影响控制器的成功率和鲁棒性？

主要发现

• 3步 ahead 损失函数显著优于标准的1步 ahead 损失，使用力/力矩特征的 ResNet 基础控制器实现了 100% 的成功率。
• 采用2步 ahead 损失训练的控制器也实现了 100% 的成功率，证明了多步监督的有效性。
• 仅使用视觉的控制器在1步 ahead 损失下完全失败（成功率仅 0.30%），但采用多步 ahead 损失后性能大幅提升。
• 表现最佳的控制器使用了力/力矩特征和3步 ahead 损失，在整个机器人工作空间内均实现了 100% 的成功率。
• 在大多数配置中，原始传感数据优于特征工程输入，表明从原始信号端到端学习更具有效性。
• 末端执行器位置在测试时被证明具有负面影响；排除该输入后，获得了无目标依赖且高度鲁棒的控制器。