[论文解读] Towards Scale Balanced 6-DoF Grasp Detection in Cluttered Scenes

Haoxiang Ma, Di Huang|arXiv (Cornell University)|Dec 10, 2022

Robot Manipulation and Learning被引用 9

一句话总结

该论文提出了一种尺度平衡的6-DoF抓取检测框架，通过多尺度圆柱体分组（MsCG）模块增强局部几何表征，通过尺度平衡学习（SBL）损失在训练过程中优先处理低频的小尺度样本，通过物体平衡采样（OBS）策略在推理阶段聚焦于小物体，从而提升在杂乱场景中对小尺度抓取的检测性能。该方法在GraspNet-1Billion数据集上达到最先进性能，对新物体的平均精度（AP）达到12.85%，在小尺度抓取检测上取得显著提升，并通过真实机器人抓取实验得到验证。

ABSTRACT

In this paper, we focus on the problem of feature learning in the presence of scale imbalance for 6-DoF grasp detection and propose a novel approach to especially address the difficulty in dealing with small-scale samples. A Multi-scale Cylinder Grouping (MsCG) module is presented to enhance local geometry representation by combining multi-scale cylinder features and global context. Moreover, a Scale Balanced Learning (SBL) loss and an Object Balanced Sampling (OBS) strategy are designed, where SBL enlarges the gradients of the samples whose scales are in low frequency by apriori weights while OBS captures more points on small-scale objects with the help of an auxiliary segmentation network. They alleviate the influence of the uneven distribution of grasp scales in training and inference respectively. In addition, Noisy-clean Mix (NcM) data augmentation is introduced to facilitate training, aiming to bridge the domain gap between synthetic and raw scenes in an efficient way by generating more data which mix them into single ones at instance-level. Extensive experiments are conducted on the GraspNet-1Billion benchmark and competitive results are reached with significant gains on small-scale cases. Besides, the performance of real-world grasping highlights its generalization ability. Our code is available at https://github.com/mahaoxiang822/Scale-Balanced-Grasp.

研究动机与目标

• 为解决在杂乱3D场景中因抓取尺度分布不均导致小尺度抓取检测性能差的问题，当前方法倾向于关注大中尺度物体。
• 通过新型多尺度圆柱体分组（MsCG）模块捕捉多尺度结构特征，提升对小尺寸或细长物体的局部几何表征能力。
• 通过尺度平衡学习（SBL）损失缓解训练过程中抓取尺度分布不均带来的负面影响，该损失通过放大低频（小）尺度的梯度来增强优化信号。
• 通过引入物体平衡采样（OBS）策略，在推理阶段优先对小尺度物体进行点采样，利用辅助分割网络提升对小物体的检测鲁棒性。
• 通过提出噪声-干净混合（NcM）数据增强方法，在实例级别混合干净与噪声点云，缩小合成数据与真实RGB-D数据之间的域差距。

提出的方法

• 多尺度圆柱体分组（MsCG）模块通过在多个尺度上聚合圆柱体特征，丰富局部几何表征并嵌入全局上下文信息，提升对细粒度形状的判别能力。
• 尺度平衡学习（SBL）损失基于抓取尺度的频率，对不同类别梯度施加类别感知的先验权重，提升训练过程中对低频小尺度抓取的优化信号。
• 物体平衡采样（OBS）策略利用辅助分割网络识别小尺度物体，并在推理阶段从这些物体中采样更多点，提升检测灵敏度。
• 噪声-干净混合（NcM）数据增强方法通过在实例级别混合干净的合成点云与真实的噪声扫描，生成合成训练样本，提升对传感器噪声的鲁棒性。
• 整体框架在端到端6-DoF抓取检测流程中集成MsCG用于特征提取，SBL用于损失加权，OBS用于推理采样，NcM用于数据增强。

实验结果

研究问题

• RQ1 在杂乱场景中，如何提升对点云密度有限的小型或细长物体的局部几何表征？
• RQ2 能否设计一种损失函数，有效缓解训练过程中因抓取尺度分布不均带来的负面影响？
• RQ3 在不重新训练的前提下，推理阶段的采样策略是否能提升对小尺度物体的抓取检测性能？
• RQ4 实例级别的噪声-干净混合数据增强在减小合成数据与真实RGB-D数据之间域差距方面有多有效？
• RQ5 所提出的框架是否能在真实机器人抓取任务中实现泛化，特别是在小尺度或难以抓取的物体上？

主要发现

• 所提方法在GraspNet-1Billion基准上对已见物体的AP达到63.83%，对相似物体为58.46%，对新物体为24.63%，在小尺度抓取检测方面显著优于先前方法。
• 在新物体上，该方法通过CD（碰撞检测）头实现12.85%的AP，相比基线绝对提升10.0%，证明其对未见物体具有强大的泛化能力。
• 在真实世界实验中，该方法在孤立小尺度物体（GSS）上的成功率达到80.00%，高于基线的56.67%，证实其在处理小尺度抓取方面的有效性。
• 在包含5–6个物体的杂乱场景中，该方法实现88.24%的成功率和96.77%的场景完成率，两项指标均优于基线，展现出在复杂环境中的鲁棒性。
• 消融实验表明，MsCG、SBL、OBS和NcM各组件均对性能提升有贡献，四者结合在所有指标上均取得最佳结果。