[论文解读] SilhoNet: An RGB Method for 3D Object Pose Estimation and Grasp Planning.

Gideon Billings, Matthew Johnson‐Roberson|arXiv (Cornell University)|Sep 18, 2018

Robot Manipulation and Learning参考文献 23被引用 11

一句话总结

SilhoNet 是一种新颖的仅使用 RGB 的 6D 物体位姿估计与抓取规划方法，采用 CNN 流水线从区域提议（ROI）中预测物体轮廓和遮挡掩码，然后从这些轮廓回归 3D 方向。该方法仅使用单目图像，在 YCB-Video 数据集上实现了最先进性能。

ABSTRACT

Autonomous robot manipulation involves estimating the translation and orientation of the object to be manipulated as a 6-degree-of-freedom (6D) pose. Methods using RGB-D data have shown great success in solving this problem. However, there are situations where cost constraints or the working environment may limit the use of RGB-D sensors. When limited to monocular camera data only, the problem of object pose estimation is very challenging. In this work, we introduce a novel method called SilhoNet that predicts 6D object pose from monocular images. We use a Convolutional Neural Network (CNN) pipeline that takes in Region of Interest (ROI) proposals to simultaneously predict an intermediate silhouette representation for objects with an associated occlusion mask and a 3D translation vector. The 3D orientation is then regressed from the predicted silhouettes. We show that our method achieves better overall performance on the YCB-Video dataset than two state-of-the art networks for 6D pose estimation from monocular image input.

研究动机与目标

• 解决在 RGB-D 传感器因成本或环境限制而不实用的环境中进行 6D 物体位姿估计的挑战。
• 仅使用单目 RGB 输入实现精确的 6D 位姿估计与抓取规划，避免依赖深度传感器。
• 开发一种深度学习流水线，联合预测物体轮廓和遮挡掩码，以提升位姿估计的鲁棒性。
• 通过利用中间轮廓表征作为监督信号，提升单目 6D 位姿估计的性能。
• 在仅使用 RGB 输入的前提下，在 YCB-Video 基准上实现最先进结果，证明轮廓推理在单目设置下的可行性。

提出的方法

• 将感兴趣区域（ROI）提议作为输入，送入基于 CNN 的流水线，以定位并聚焦于场景中的单个物体。
• 训练网络同时为每个物体提议预测中间轮廓表征及其关联的遮挡掩码。
• 利用预测的轮廓作为监督信号，回归物体在 6D 位姿空间中的 3D 方向。
• 直接从 ROI 特征预测 3D 平移向量，实现完整的 6D 位姿估计。
• 利用轮廓的几何一致性，提升在遮挡和视角变化下的泛化能力与鲁棒性。
• 端到端训练，损失函数结合轮廓重建、遮挡掩码预测与 6D 位姿回归。

实验结果

研究问题

• RQ1 仅基于单目 RGB 的方法是否能在无深度监督的情况下实现具有竞争力的 6D 物体位姿估计性能？
• RQ2 与直接回归相比，预测中间轮廓表征是否能提升 6D 位姿估计的准确性？
• RQ3 在真实机器人操作场景中，该方法如何处理遮挡与视角变化？
• RQ4 轮廓表征是否可作为单目设置下 3D 方向回归的有效监督信号？
• RQ5 在标准基准上，SilhoNet 与现有最先进 RGB 仅 6D 位姿估计网络相比表现如何？

主要发现

• SilhoNet 在仅使用单目 RGB 输入的前提下，在 YCB-Video 数据集上实现了 6D 物体位姿估计的最先进性能。
• 通过显式预测遮挡掩码与轮廓，该方法在遮挡情况下表现出更强的鲁棒性。
• 中间轮廓预测的使用相比直接回归基线，带来了更精确的 3D 方向回归。
• 即使在部分物体可见的挑战性场景中，网络仍能实现高精度的 6D 位姿估计。
• 性能提升归因于训练过程中轮廓表征提供的几何归纳偏差。
• 该方法在 YCB-Video 基准上优于两项最先进的单目 6D 位姿估计网络。