[论文解读] Towards Self-Supervised Category-Level Object Pose and Size Estimation

Yisheng He, Haoqiang Fan+3 more|arXiv (Cornell University)|Mar 6, 2022

Robotics and Sensor-Based Localization被引用 9

一句话总结

本文提出了一种从单张深度图像进行类别级物体位姿与尺寸估计的自监督框架，无需昂贵的6D位姿标注。通过结合可微分形状变形、点云配准和可微分渲染，该方法在渲染点云与观测点云之间强制实现几何一致性，其性能在真实世界数据集上与全监督方法相当。

ABSTRACT

In this work, we tackle the challenging problem of category-level object pose and size estimation from a single depth image. Although previous fully-supervised works have demonstrated promising performance, collecting ground-truth pose labels is generally time-consuming and labor-intensive. Instead, we propose a label-free method that learns to enforce the geometric consistency between category template mesh and observed object point cloud under a self-supervision manner. Specifically, our method consists of three key components: differentiable shape deformation, registration, and rendering. In particular, shape deformation and registration are applied to the template mesh to eliminate the differences in shape, pose and scale. A differentiable renderer is then deployed to enforce geometric consistency between point clouds lifted from the rendered depth and the observed scene for self-supervision. We evaluate our approach on real-world datasets and find that our approach outperforms the simple traditional baseline by large margins while being competitive with some fully-supervised approaches.

研究动机与目标

• 为解决类别级物体位姿与尺寸估计中，尤其是6D位姿标签的高昂标注成本问题。
• 开发一种无需标签的学习框架，利用大规模未标注深度数据进行自监督训练。
• 解耦模板网格与观测场景之间在形状、位姿、尺度及部分到完整不一致性上的关系。
• 在不依赖精确CAD模型的前提下，提升对类别内形状变化的泛化能力。
• 仅使用自监督实现与全监督方法相当的性能。

提出的方法

• 训练一个可微分形状变形网络，通过粗略点云作为监督信号，将类别模板网格变形以匹配目标物体的形状。
• 通过部分到完整配准网络，将变形后的网格点与观测场景点云对齐，以估计位姿与尺度。
• 使用可微分渲染器从变换和变形后的网格生成深度图像，以生成渲染点云。
• 通过自监督损失在渲染点云与观测点云之间强制实现几何一致性，最小化重建误差。
• 引入法向一致性损失以保持朝外法向，防止因错误的面剔除导致的渲染伪影。
• 采用多尺度几何增强，结合局部与全局几何上下文信息指导形状变形。

实验结果

研究问题

• RQ1 自监督学习能否有效替代类别级物体位姿与尺寸估计中的全监督训练？
• RQ2 在弱监督设置下，如何实现形状、位姿与尺度变化的解耦？
• RQ3 粗略点云在多大程度上可替代真实网格作为监督信号以指导网格变形？
• RQ4 变形过程中的法向一致性如何影响渲染质量与下游性能？
• RQ5 单个模板网格能否在同类别内泛化至多样化的物体实例？

主要发现

• 在YCB-Video数据集上，该方法相较于传统基线方法大幅领先，使用随机模板网格变形后，平均CD误差降至2.40×10−3。
• 在粗略点云监督下，该方法将平均Chamfer距离降低至2.00×10−3，接近真实网格监督的性能（1.93×10−3）。
• 法向一致性损失使Chamfer距离降低0.08×10−3，并将IoU@75 AP提升0.5%，显著减少渲染伪影。
• 网格变形网络在不同模板网格上表现出稳健的泛化能力，对随机模板的CD误差降低50%，性能接近先前使用理想模板的结果。
• 尽管未使用任何真实位姿标签，该方法仍实现了与部分全监督方法相当的性能。
• 完整流水线可实时运行，单张GPU上每物体推理仅需727ms（变形耗时23ms，配准耗时696ms，渲染耗时8ms）。