[论文解读] PoET: Pose Estimation Transformer for Single-View, Multi-Object 6D Pose Estimation

Thomas Jantos, Mohamed Amin Hamdad+3 more|arXiv (Cornell University)|Nov 25, 2022

Robot Manipulation and Learning被引用 28

一句话总结

PoET 是一个基于 Transformer 的仅使用 RGB 的方法，在单张图像中对多对象估计 6D 姿态，无需深度或 3D 模型，在 YCB-V 上达到最先进的结果。

ABSTRACT

Accurate 6D object pose estimation is an important task for a variety of robotic applications such as grasping or localization. It is a challenging task due to object symmetries, clutter and occlusion, but it becomes more challenging when additional information, such as depth and 3D models, is not provided. We present a transformer-based approach that takes an RGB image as input and predicts a 6D pose for each object in the image. Besides the image, our network does not require any additional information such as depth maps or 3D object models. First, the image is passed through an object detector to generate feature maps and to detect objects. Then, the feature maps are fed into a transformer with the detected bounding boxes as additional information. Afterwards, the output object queries are processed by a separate translation and rotation head. We achieve state-of-the-art results for RGB-only approaches on the challenging YCB-V dataset. We illustrate the suitability of the resulting model as pose sensor for a 6-DoF state estimation task. Code is available at https://github.com/aau-cns/poet.

研究动机与目标

• 通过仅使用 RGB 图像，推动机器人任务（抓取、定位）的精确 6D 姿态估计。
• 开发一个骨干网无关的框架，能够在任意 2D 目标检测器之上添加 6D 姿态估计。
• 通过 Transformer 将全局图像上下文引入，以在没有额外输入的情况下预测每个对象的平移和旋转。
• 在 YCB-V 数据集上评估该方法，并展示其作为 6-DoF 定位的姿态传感器的用途。

提出的方法

• 用骨干网络的目标检测器处理 RGB 图像，以生成多尺度特征图和目标边界框。
• 使用变形的 Transformer 编码器-解码器，其中边界框信息成为解码器的对象查询。
• 将 Transformer 的输出输入到独立的平移头和旋转头，以预测 3D 平移和 6D 旋转（采用 6D 旋转表示和 geodesic 损失）。
• 使用加权多任务损失进行训练，结合平移 L2 损失和 geodesic 旋转损失。
• 通过将输出维度调整为 3n_cls 和 6n_cls，分别支持类别特定或类无关的设置。
• 在 RGB 数据上端到端训练，不需要深度、3D 模型或对称性先验，并且在评估时可选使用真值 ROI。

实验结果

研究问题

• RQ1 变换器学到的全局图像上下文是否可以提升单视图中对多对象的 RGB-only 6D 姿态估计？
• RQ2 是否可以仅使用边界框信息作为引导，在不使用 3D 模型或深度图的情况下，从 RGB 推断每个对象的 3D 平移和 6D 旋转？
• RQ3 在 YCB-V 上相对于基于 RGB 的最先进方法， PoET 在平移、旋转和 ADD-S 指标方面的表现如何？
• RQ4 PoET 是否可以作为在复杂场景中进行 6-DoF 相机定位的有效姿态传感器？

主要发现

• PoET 在 YCB-V 上的 RGB-only 方法中达到最先进的结果（ADD-S 指标）。
• 该模型能够在单张 RGB 图像中处理多对象，而无需迭代细化或 3D 模型。
• 将边界框信息作为 Transformer 输入的一部分有助于学习和性能提升。
• 平移和旋转头在平移精度和旋转精度方面均具有竞争力，甚至在没有对称先验的情况下旋转也具备竞争力。
• 消融研究显示边界框引导查询和全图上下文对获得最佳性能很重要。
• PoET 可以通过融合检测对象的相对姿态估计来用于相机定位。