[论文解读] Orientation Attentive Robot Grasp Synthesis.

Nikolaos Gkanatsios, Georgia Chalvatzaki+2 more|arXiv (Cornell University)|Jun 9, 2020

Robot Manipulation and Learning参考文献 29被引用 4

一句话总结

本文提出 ORANGE，一种新颖的抓取合成框架，通过使用二值化角度表示法来共同识别多个可能的抓取方向，从而解决机器人抓取中的方向模糊性问题。通过联合求解离散二分类与连续回归，ORANGE 在 Jacquard 数据集上实现了 94.71% 的最先进成功率，优于现有的单模态和多模态方法。

ABSTRACT

Physical neighborhoods of grasping points in common objects may offer a wide variety of plausible grasping configurations. For a fixed center of a simple spherical object, for example, there is an infinite number of valid grasping orientations. Such structures create ambiguous and discontinuous grasp maps that confuse neural regressors. We perform a thorough investigation of the challenging Jacquard dataset to show that the existing pixel-wise learning approaches are prone to box overlaps of drastically different orientations. We then introduce a novel augmented map representation that partitions the angle space into bins to allow for the co-occurrence of such orientations and observe larger accuracy margins on the ground truth grasp map reconstructions. On top of that, we build the ORientation AtteNtive Grasp synthEsis (ORANGE) framework that jointly solves a bin classification problem and a real-value regression. The grasp synthesis is attentively supervised by combining discrete and continuous estimations into a single map. We provide experimental evidence by appending ORANGE to two existing unimodal architectures and boost their performance to state-of-the-art levels on Jacquard, specifically 94.71\%, over all related works, even multimodal. Code is available at \url{this https URL}.

研究动机与目标

• 为解决机器人抓取合成中的方向模糊性挑战，即单个点存在多个有效抓取方向的问题。
• 克服像素级学习方法存在的方向框重叠与抓取图不连续的问题。
• 设计一种统一表示方法，实现在同一张图中同时呈现多种抓取方向。
• 开发一种联合学习框架，结合离散分类与连续回归，以提升抓取预测性能。
• 在 Jacquard 基准测试中实现最先进性能，超越现有的单模态与多模态方法。

提出的方法

• 引入一种增强的角度图表示法，将完整的 360 度方向空间划分为离散的分箱，以解决方向模糊性问题。
• 通过将离散分箱分类与抓取参数的连续回归结合，构建一个基于注意力机制的混合监督信号，形成单一注意力图。
• 设计 ORANGE 框架，利用共享的特征编码器，联合优化分箱分配与精确的抓取参数回归。
• 将该框架作为插件集成到现有单模态架构中，实现性能提升而无需对网络结构进行大规模修改。
• 利用注意力机制动态加权离散与连续预测的贡献，提升定位精度。
• 在 Jacquard 数据集上端到端训练模型，并结合数据增强技术，以增强对不同物体形状与方向的泛化能力。

实验结果

研究问题

• RQ1 如何有效建模机器人抓取合成中的方向模糊性，以避免抓取图中的不连续性？
• RQ2 一种支持多种方向共现的统一表示方法，是否能提升抓取预测的准确性？
• RQ3 将离散分箱分类与连续回归相结合，是否能优于单独使用任一方法？
• RQ4 ORANGE 在多大程度上能够提升现有单模态抓取网络在基准数据集上的性能？
• RQ5 与多模态方法相比，所提出的方法是否具备在 Jacquard 数据集上实现最先进结果的能力？

主要发现

• 所提出的角度分箱表示法通过允许多个合理方向在同一预测图中共存，成功解决了方向模糊性问题。
• ORANGE 的联合学习框架在 Jacquard 数据集上实现了 94.71% 的成功率，创下新的最先进性能水平。
• 将 ORANGE 添加到现有单模态架构中，可带来显著的性能提升，超越单模态与多模态基线方法。
• 该方法对常见误导标准像素级回归模型的方向不连续性表现出强鲁棒性。
• 基于注意力的离散与连续预测融合机制，显著提升了定位精度，并增强了对多样化物体形状的泛化能力。