[论文解读] Tactile-RL for Insertion: Generalization to Objects of Unknown Geometry

Siyuan Dong, Devesh K. Jha+4 more|arXiv (Cornell University)|Apr 2, 2021

Robot Manipulation and Learning参考文献 20被引用 7

一句话总结

本文提出了一种用于机器人插孔插入的触觉强化学习（RL）策略，该策略可泛化至未知几何形状的物体。通过使用课程学习和触觉流表征，该策略在四类新物体上仅需3–4次尝试即实现超过85%的成功率，优于监督学习、基于F/T的策略以及基于RGB的触觉输入在泛化性能上的表现。

ABSTRACT

Object insertion is a classic contact-rich manipulation task. The task remains challenging, especially when considering general objects of unknown geometry, which significantly limits the ability to understand the contact configuration between the object and the environment. We study the problem of aligning the object and environment with a tactile-based feedback insertion policy. The insertion process is modeled as an episodic policy that iterates between insertion attempts followed by pose corrections. We explore different mechanisms to learn such a policy based on Reinforcement Learning. The key contribution of this paper is to demonstrate that it is possible to learn a tactile insertion policy that generalizes across different object geometries, and an ablation study of the key design choices for the learning agent: 1) the type of learning scheme: supervised vs. reinforcement learning; 2) the type of learning schedule: unguided vs. curriculum learning; 3) the type of sensing modality: force/torque (F/T) vs. tactile; and 4) the type of tactile representation: tactile RGB vs. tactile flow. We show that the optimal configuration of the learning agent (RL + curriculum + tactile flow) exposed to 4 training objects yields an insertion policy that inserts 4 novel objects with over 85.0% success rate and within 3~4 attempts. Comparisons between F/T and tactile sensing, shows that while an F/T-based policy learns more efficiently, a tactile-based policy provides better generalization.

研究动机与目标

• 开发一种适用于多种物体几何形状的通用机器人插入策略，且无需事先了解几何信息。
• 解决接触丰富操作中的挑战，即接触状态仅能通过触觉或力/力矩传感器部分可观测。
• 通过采用适当的感官表征和学习策略，提升策略在训练物体之外的泛化能力。
• 证明基于触觉的强化学习在泛化至新物体形状方面优于基于F/T的强化学习和监督学习方法。
• 研究关键设计选择——学习方案、课程训练、传感模态和触觉表征——对策略性能和数据效率的影响。

提出的方法

• 将插入任务建模为具有迭代插入尝试和位姿校正的回合制强化学习问题。
• 使用高分辨率GelSlim触觉传感器捕获夹爪手指处的接触动态，提供丰富的空间和时间反馈。
• 将触觉数据表示为触觉流（接触标记随时间的运动），以提升泛化能力并减少对表面纹理的过拟合。
• 通过逐步增加任务复杂度（墙 → 角落 → U形 → 孔）实施课程学习，提升数据效率并加快收敛。
• 使用基于对齐误差和插入成功度的密集奖励函数，采用近端策略优化（PPO）端到端训练深度强化学习智能体。
• 通过监督策略对强化学习策略进行初始化，以改善初始探索并稳定训练过程。

Figure 1: Insertion task with the proposed Tactile RL policy.

实验结果

研究问题

• RQ1 基于触觉的强化学习策略是否能在接触丰富的插入任务中泛化至具有未知几何形状的新物体？
• RQ2 课程学习在基于触觉的强化学习插入任务中如何提升数据效率和收敛速度？
• RQ3 与原始RGB触觉图像相比，触觉流表征是否能在强化学习插入任务中带来更好的泛化性能？
• RQ4 在多种物体形状上的泛化性能方面，触觉传感与F/T传感相比表现如何？
• RQ5 在插入过程中接触状态部分可观测的情况下，监督学习与强化学习的相对影响是什么？

主要发现

• 最优配置（强化学习结合课程学习与触觉流）在四类新物体上仅需3–4次尝试即实现超过85.0%的成功率。
• 采用课程学习的强化学习策略在训练物体上收敛更快，且在尝试次数减半的情况下即达到80%的成功率，而无课程学习的强化学习策略则未能实现此效果。
• 与监督学习基线相比，该触觉-强化学习策略展现出显著更优的泛化能力，后者在测试中无法插入长方体和纸盒类物体。
• 使用原始RGB触觉图像的策略在训练物体上出现过拟合，在新物体（如大瓶子和纸盒）上成功率接近零。
• 基于F/T的强化学习策略在圆柱形物体上成功率接近100%，但在长方体形状物体上下降至55%，表明其对旋转误差的泛化能力较差。
• 触觉传感在泛化性能上优于F/T传感，因为触觉流捕捉到了接触过程中的运动动态，而F/T传感器无法区分这些动态。

Figure 2: Tactile signals for four contact configurations. In the first 2 cases, the object contacts an edge in the environment that is perpendicular to the plane of the sensors, and consequently the object rotates in the plane of the sensors. Note that the rotation directions are opposite in cases