[论文解读] Orientation Attentive Robotic Grasp Synthesis with Augmented Grasp Map Representation

Georgia Chalvatzaki, Nikolaos Gkanatsios+2 more|arXiv (Cornell University)|Jun 9, 2020

Robot Manipulation and Learning参考文献 51被引用 10

一句话总结

本文提出 ORANGE，一种新颖的方位感知抓取合成框架，通过增强的抓取图将抓取方位离散化为多个桶，实现分类与回归的联合优化，从而提升抓取预测性能。该方法仅使用深度图像即在 Jacquard 数据集上实现了 94.71% 的最先进性能，且在双臂机器人上完成了真实世界验证，证明了其在多种抓取方位下均能实现有效且可行的抓取规划。

ABSTRACT

Inherent morphological characteristics in objects may offer a wide range of plausible grasping orientations that obfuscates the visual learning of robotic grasping. Existing grasp generation approaches are cursed to construct discontinuous grasp maps by aggregating annotations for drastically different orientations per grasping point. Moreover, current methods generate grasp candidates across a single direction in the robot's viewpoint, ignoring its feasibility constraints. In this paper, we propose a novel augmented grasp map representation, suitable for pixel-wise synthesis, that locally disentangles grasping orientations by partitioning the angle space into multiple bins. Furthermore, we introduce the ORientation AtteNtive Grasp synthEsis (ORANGE) framework, that jointly addresses classification into orientation bins and angle-value regression. The bin-wise orientation maps further serve as an attention mechanism for areas with higher graspability, i.e. probability of being an actual grasp point. We report new state-of-the-art 94.71% performance on Jacquard, with a simple U-Net using only depth images, outperforming even multi-modal approaches. Subsequent qualitative results with a real bi-manual robot validate ORANGE's effectiveness in generating grasps for multiple orientations, hence allowing planning grasps that are feasible.

研究动机与目标

• 为解决在机器人抓取中，每个抓取点存在多个合理抓取方位导致视觉学习模型困惑的挑战。
• 克服因对截然不同的抓取方位进行标注聚合而生成的不连续抓取图的局限性。
• 通过在抓取生成过程中考虑机器人的视角和工作空间约束，实现可行的抓取规划。
• 通过引入方位感知注意力机制，突出高抓取可实现区域，从而提升抓取质量预测。
• 开发一种与模型无关的框架，可增强任意基于 CNN 的抓取预测器，且无需修改网络架构。

提出的方法

• 本文提出一种增强的抓取图表示方法，将 360° 角度空间划分为离散的桶，实现在每个像素处对抓取方位的局部解耦。
• 其将联合学习任务形式化：将抓取方位分类到离散桶中，同时对每个桶回归连续角度值。
• 各桶的方位图作为对抓取质量图的注意力机制，引导模型聚焦于高抓取可实现区域。
• 该框架基于 U-Net 架构实现，兼容任何基于 CNN 的抓取预测模型。
• 该方法通过端到端方式使用深度图像和标注的抓取图进行训练，损失函数结合了用于分类的交叉熵损失与用于回归的平滑 L1 损失。
• 该方法通过在机器人物理工作空间内选择抓取候选，实现了无碰撞、可行的抓取规划，并在移动操作机器人上得到验证。

实验结果

研究问题

• RQ1 如何有效建模具有复杂形态物体的抓取方位模糊性，以提升抓取预测性能？
• RQ2 与仅使用连续回归相比，对方位空间进行离散分桶是否能提升抓取图的泛化性与连续性？
• RQ3 方位感知注意力机制在像素级抓取合成中，对提升抓取质量预测的增强程度如何？
• RQ4 仅使用深度图像且与模型无关的框架是否能在基准抓取数据集上实现最先进性能？
• RQ5 该方法在实现多种抓取方位下的真实世界机器人抓取方面，有效性如何？

主要发现

• ORANGE 仅使用深度图像即在 Jacquard 数据集上实现了 94.71% 的最先进性能，优于多模态和更复杂的模型。
• 增强的抓取图表示成功解耦了每个抓取点的多个合理抓取方位，减少了训练与推理过程中的模糊性。
• 方位感知注意力机制通过聚焦于高抓取可实现区域，提升了抓取质量预测，该结论得到定性和定量结果的验证。
• 在 TIAGo++ 机器人上的真实世界实验表明，ORANGE 在多种抓取方位下均能实现成功抓取，使用夹爪时成功率达 84%，使用五指手时为 60%。
• 该方法在机器人物理工作空间内实现了有效的抓取规划，通过成功执行开环轨迹，验证了双臂抓取的可行性。
• 实验表明，该框架对视角变化具有鲁棒性，因为相机安装在机器人本体上，与以往研究中静态相机设置不同。