[论文解读] TransSC: Transformer-based Shape Completion for Grasp Evaluation

Wenkai Chen, Hongzhuo Liang+3 more|arXiv (Cornell University)|Jul 1, 2021

Robot Manipulation and Learning参考文献 34被引用 5

一句话总结

该论文提出 TransSC，一种基于 Transformer 的形状补全网络，通过从稀疏、噪声较大的部分点云中重建完整的 3D 物体形状，提升机器人抓取评估性能。采用 Transformer 编码器学习全局特征，结合基于流形的解码器实现细节丰富的表面重建，TransSC 在仿真和真实世界实验中显著提升抓取成功率，优于基于体素和 RANSAC 的基线方法。

ABSTRACT

Currently, robotic grasping methods based on sparse partial point clouds have attained a great grasping performance on various objects while they often generate wrong grasping candidates due to the lack of geometric information on the object. In this work, we propose a novel and robust shape completion model (TransSC). This model has a transformer-based encoder to explore more point-wise features and a manifold-based decoder to exploit more object details using a partial point cloud as input. Quantitative experiments verify the effectiveness of the proposed shape completion network and demonstrate it outperforms existing methods. Besides, TransSC is integrated into a grasp evaluation network to generate a set of grasp candidates. The simulation experiment shows that TransSC improves the grasping generation result compared to the existing shape completion baselines. Furthermore, our robotic experiment shows that with TransSC the robot is more successful in grasping objects that are randomly placed on a support surface.

研究动机与目标

• 解决单视角传感器提供的几何信息不完整所带来的机器人抓取挑战。
• 开发一种在真实 RGB-D 相机获取的稀疏、噪声较大的部分点云上表现稳健的形状补全模型。
• 将形状补全集成到抓取评估流程中，以提升抓取候选的质量和成功率。
• 实现在无需额外传感器（如触觉反馈）的条件下进行真实世界机器人抓取。
• 在仿真和物理机器人实验中验证该方法的有效性。

提出的方法

• 提出一种新颖的编码器-解码器架构，其中基于 Transformer 的编码器用于捕捉部分点云中的长距离依赖关系和逐点注意力特征。
• 基于流形的解码器通过从潜在特征和点种子预测空间表面，生成高分辨率、细节丰富的表面。
• 模型在大规模非合成部分点云数据集上进行训练，该数据集源自 YCB-Video 数据集，并包含真实相机噪声和遮挡。
• 将补全后的点云输入 PointNetGPD 以生成抓取候选并评分。
• 使用 MoveIt! Task Constructor 进行运动规划，生成可在 UR5 机械臂上执行的无碰撞轨迹。
• 采用两种训练模式：规范姿态（物体对齐）和任意姿态（相机对齐），后者可在无需 6D 姿态估计的情况下实现真实世界部署。

实验结果

研究问题

• RQ1 基于 Transformer 的形状补全模型是否能仅利用稀疏、噪声较大的部分点云，在真实机器人系统中提升抓取成功率？
• RQ2 TransSC 在抓取评估任务中与现有形状补全方法（如 RANSAC、基于体素和镜像补全）相比表现如何？
• RQ3 形状补全在多大程度上减少了因视角限制和物体遮挡导致的抓取失败？
• RQ4 任意姿态训练模式是否能在无需精确 6D 物体姿态估计的情况下实现有效的实际部署？
• RQ5 将形状补全集成到抓取评估流程中，是否能带来更鲁棒且泛化能力更强的抓取结果？

主要发现

• 使用规范姿态输入的 TransSC 在仿真中取得了最高的抓取成功率，优于基于 RANSAC 和基于体素的方法。
• TransSC 的任意姿态变体在真实机器人实验中实现了平均 83.33% 的抓取成功率，显著优于仅使用 PointNetGPD 的 71.67%。
• 对于电钻，成功率从 40% 提升至 50%，表明其在处理易滑或形状复杂的物体方面表现更优。
• TransSC 的平均抓取姿态误差显著低于其他方法，证明其几何精度更高。
• 该模型通过提供更完整的表面几何信息，减少了抓取候选陷入物体内部的情况，从而降低了因点云表示不佳导致的失败。
• 包含真实世界噪声的非合成数据集提升了模型泛化能力，使其在物理机器人实验中表现更优。