[论文解读] StereoPose: Category-Level 6D Transparent Object Pose Estimation from Stereo Images via Back-View NOCS

Kai Chen, Stephen James+4 more|arXiv (Cornell University)|Nov 3, 2022

Robotics and Sensor-Based Localization被引用 4

一句话总结

StereoPose 提出了一种基于双目图像的框架，用于透明物体的类别级6D姿态估计，通过引入一种新颖的背面NOCS图来减少图像内容混叠和自遮挡带来的歧义。通过结合视差感知的双目特征融合、对极几何损失以及三阶段流程（尺寸估计、初始姿态、精炼），该方法在TOD数据集上实现了最先进性能，且无需依赖深度图。

ABSTRACT

Most existing methods for category-level pose estimation rely on object point clouds. However, when considering transparent objects, depth cameras are usually not able to capture meaningful data, resulting in point clouds with severe artifacts. Without a high-quality point cloud, existing methods are not applicable to challenging transparent objects. To tackle this problem, we present StereoPose, a novel stereo image framework for category-level object pose estimation, ideally suited for transparent objects. For a robust estimation from pure stereo images, we develop a pipeline that decouples category-level pose estimation into object size estimation, initial pose estimation, and pose refinement. StereoPose then estimates object pose based on representation in the normalized object coordinate space~(NOCS). To address the issue of image content aliasing, we further define a back-view NOCS map for the transparent object. The back-view NOCS aims to reduce the network learning ambiguity caused by content aliasing, and leverage informative cues on the back of the transparent object for more accurate pose estimation. To further improve the performance of the stereo framework, StereoPose is equipped with a parallax attention module for stereo feature fusion and an epipolar loss for improving the stereo-view consistency of network predictions. Extensive experiments on the public TOD dataset demonstrate the superiority of the proposed StereoPose framework for category-level 6D transparent object pose estimation.

研究动机与目标

• 为解决透明物体类别级6D姿态估计的挑战，这类物体由于镜面和反射材质导致深度图质量差。
• 克服现有基于点云的方法在透明物体上失效的局限性，原因在于深度数据中存在严重伪影。
• 减少由图像内容混叠引起的特征学习歧义，即物体背面结构在前视图像中出现时产生的混淆。
• 利用透明物体背面的有用线索（如手柄、边缘等），这些线索在仅使用前视图像的表示中通常被忽略。
• 开发一种基于双目图像的框架，实现无需依赖深度图或高质量点云的鲁棒且精确的姿态估计。

提出的方法

• 该框架将类别级姿态估计解耦为三个阶段：物体尺寸估计、初始姿态估计和姿态精炼。
• 引入背面NOCS图以建模透明物体背面的密集对应关系，减少因图像内容混叠带来的歧义。
• 提出视差注意力模块，利用几何视差作为引导信号融合双目特征，增强跨视角特征的一致性。
• 设计对极几何损失，通过利用对极约束对齐对应点，强制左右视图NOCS预测之间的一致性。
• 网络从双目RGB图像中联合预测前视和背面NOCS图，提升整体对应关系的准确性。
• 该方法避免显式使用深度图，转而利用双目几何结构和NOCS表示实现鲁棒的6D姿态估计。

实验结果

研究问题

• RQ1 基于双目图像的框架能否在不依赖深度图的情况下，实现对透明物体的精确类别级6D姿态估计？
• RQ2 引入背面NOCS图在多大程度上减少了由透明物体图像内容混叠引起的特征学习歧义？
• RQ3 与标准双目特征融合相比，视差感知的双目特征融合在多大程度上提升了姿态估计的准确性？
• RQ4 对极几何损失在提升NOCS预测的双目视图一致性方面有多有效？
• RQ5 背面结构线索（如手柄、边缘等）在透明物体姿态估计中的贡献有多大？

主要发现

• 所提出的StereoPose框架在TOD数据集上实现了97.9%的3D IoU@25，显著优于基线方法。
• 移除背面NOCS图导致3D IoU@25下降9.6%，证明其在处理背面结构线索中的关键作用。
• 与无双目融合的基线相比，视差注意力模块使3D IoU@25提升了4.2%。
• 当移除对极几何损失时，3D IoU@25提升3.5%，表明其在强制双目一致性方面的有效性。
• 完整模型在3D IoU@50上达到77.4%，10°10cm精度为38.2%，在所有指标上均优于消融实验变体。
• 定性结果表明，背面NOCS图能够准确定位手柄等背面特征，从而在复杂配置下减少旋转误差。