[论文解读] Nothing But Geometric Constraints: A Model-Free Method for Articulated Object Pose Estimation

Qihao Liu, Weichao Qiu+3 more|arXiv (Cornell University)|Nov 30, 2020

Robot Manipulation and Learning参考文献 40被引用 15

一句话总结

该论文提出GC-Pose，一种无需CAD模型或标注训练数据的、无模型的、无监督方法，用于从RGB或RGB-D视频序列中估计刚性物体和机械臂的关节构型。通过利用几何约束——特别是结合EM优化和多帧捆绑调整的扩展对极约束——该方法在关节角度估计方面达到了最先进水平，在基准数据集上的表现优于监督方法，且能泛化至新物体。

ABSTRACT

We propose an unsupervised vision-based system to estimate the joint configurations of the robot arm from a sequence of RGB or RGB-D images without knowing the model a priori, and then adapt it to the task of category-independent articulated object pose estimation. We combine a classical geometric formulation with deep learning and extend the use of epipolar constraint to multi-rigid-body systems to solve this task. Given a video sequence, the optical flow is estimated to get the pixel-wise dense correspondences. After that, the 6D pose is computed by a modified PnP algorithm. The key idea is to leverage the geometric constraints and the constraint between multiple frames. Furthermore, we build a synthetic dataset with different kinds of robots and multi-joint articulated objects for the research of vision-based robot control and robotic vision. We demonstrate the effectiveness of our method on three benchmark datasets and show that our method achieves higher accuracy than the state-of-the-art supervised methods in estimating joint angles of robot arms and articulated objects.

研究动机与目标

• 开发一种无监督、无模型的方法，用于从视频序列中估计刚性物体和机械臂的关节构型。
• 克服低纹理表面、自遮挡和反光材料等挑战，且不依赖标注数据或3D CAD模型。
• 通过从原始视频中学习而无需针对特定实例微调，实现对新刚性物体和机械臂的泛化。
• 构建一个可控的合成数据集，用于在机器人视觉中分析和诊断姿态估计方法。

提出的方法

• 使用预训练模型（如FlowNet2）估计视频帧之间的密集光流，以建立像素级对应关系。
• 应用扩展的对极约束——对每个运动部件建模为6D刚体变换——以优化光流，尤其在低纹理或反光区域。
• 利用EM算法联合优化光流与刚体变换，以满足对极约束，提升对噪声光流的鲁棒性。
• 通过改进的PnP算法从2D对应点计算运动部件的6D姿态，以估计帧间相对运动。
• 随时间累积相对变换，以恢复绝对关节构型。
• 在多帧上应用捆绑调整，利用估计或真实深度，以优化关节角度估计并减少累积误差。

实验结果

研究问题

• RQ1 无模型方法是否能在无需任何CAD模型或标注训练数据的情况下实现高精度的刚性物体姿态估计？
• RQ2 扩展的对极约束在提升低纹理或反光刚体上的光流精度方面有多有效？
• RQ3 在自遮挡和复杂运动条件下，多帧捆绑调整在多大程度上提升了姿态估计精度？
• RQ4 该方法对深度估计噪声的鲁棒性如何？其在使用单目网络估计深度时是否仍能有效运行？

主要发现

• GC-Pose在三个基准数据集上的关节角度估计精度高于最先进监督方法，包括在无需微调的新物体上。
• 扩展的对极约束显著提升了低纹理表面上的光流精度，缩小了纹理与非纹理物体之间的性能差距。
• 捆绑调整减少了关节构型估计中的累积误差，最佳情况下将平均误差从8.7170°降低至5°以下。
• 即使使用Monodepth2估计的深度，GC-Pose仍保持优异性能，且在使用真实深度时进一步提升，表明对深度噪声具有鲁棒性。
• 合成数据集支持受控的消融研究，证实几何约束和多帧优化是性能提升的关键因素。