[论文解读] Pose Proposal Critic: Robust Pose Refinement by Learning Reprojection Errors

Lucas Brynte, Fredrik Kahl|arXiv (Cornell University)|May 13, 2020

Robot Manipulation and Learning参考文献 30被引用 6

一句话总结

本文提出姿态提议批评网络（Pose Proposal Critic, PPC），一种新颖的姿态优化方法，通过训练卷积神经网络（CNN）预测观测图像与渲染图像之间的重投影误差，从而在无需显式姿态回归的情况下实现鲁棒优化，显著提升了部分遮挡条件下的3D物体姿态估计性能。在Occlusion LINEMOD基准测试中，PPC在三项指标中的两项达到当前最优水平，即使仅使用合成数据进行训练，其性能也优于已有方法。

ABSTRACT

In recent years, considerable progress has been made for the task of rigid object pose estimation from a single RGB-image, but achieving robustness to partial occlusions remains a challenging problem. Pose refinement via rendering has shown promise in order to achieve improved results, in particular, when data is scarce. In this paper we focus our attention on pose refinement, and show how to push the state-of-the-art further in the case of partial occlusions. The proposed pose refinement method leverages on a simplified learning task, where a CNN is trained to estimate the reprojection error between an observed and a rendered image. We experiment by training on purely synthetic data as well as a mixture of synthetic and real data. Current state-of-the-art results are outperformed for two out of three metrics on the Occlusion LINEMOD benchmark, while performing on-par for the final metric.

研究动机与目标

• 提升仅使用RGB图像进行姿态估计时，在部分遮挡条件下的鲁棒性，这是该领域的一项主要挑战。
• 开发一种不依赖真实标注训练数据的姿态优化方法，从而降低数据采集成本。
• 通过聚焦于误差估计而非直接姿态回归，提升基于渲染的姿态优化性能。
• 在基准测试指标上实现最先进性能，尤其在具有挑战性的遮挡条件下表现优异。

提出的方法

• 该方法以物体CAD模型和初始姿态提议作为输入，基于提议姿态生成对应的渲染图像。
• 训练一个CNN来估计观测图像与在姿态提议下生成的渲染图像之间的平均重投影误差。
• 网络在纯合成数据或合成与真实数据混合的数据上进行训练，学习预测误差，而无需对姿态参数进行显式监督。
• 推理阶段，通过基于梯度的优化方法迭代地最小化预测的重投影误差来逐步优化姿态。
• 该方法通过聚焦于误差最小化，隐式地处理遮挡问题，对误差函数的过估计或欠估计具有鲁棒性。
• 在优化前，对PVNet生成的姿态提议应用负深度校正，以确保几何可行性。

实验结果

研究问题

• RQ1 仅通过训练CNN预测重投影误差，是否足以实现无需直接回归姿态参数的鲁棒姿态优化？
• RQ2 与当前最先进方法相比，该方法在部分遮挡条件下的性能表现如何？
• RQ3 当模型仅在合成数据上进行训练时，其泛化能力达到何种程度？
• RQ4 与直接回归姿态相比，学习误差估计是否能提升对遮挡和噪声预测的鲁棒性？

主要发现

• 在Occlusion LINEMOD基准测试中，PPC在三项指标中的两项达到最先进水平，其中在猫（cat）物体的add(-s)-0.1d指标上达到98.80%。
• 在reproj-5px指标上，PPC的平均准确率达到89.74%，优于PoseCNN和PoseCNN+DeepIM。
• 在5cm/5°指标上，PPC的平均准确率达到97.60%，优于PoseCNN+DeepIM（97.53%），并达到最佳基线方法的水平。
• 即使仅使用合成数据进行训练，该方法仍能取得最先进性能，表明其对真实世界遮挡具有强大的泛化能力。
• 在遮挡条件下，网络的误差估计依然可靠，误差函数的预测最小值接近真实姿态，尽管存在一定的偏差。