[论文解读] PnP-Net: A hybrid Perspective-n-Point Network

Roy Sheffer, Ami Wiesel|arXiv (Cornell University)|Mar 10, 2020

Robotics and Sensor-Based Localization参考文献 25被引用 6

一句话总结

PnP-Net 提出了一种混合深度学习与基于模型的方法，用于在对应关系错误下实现鲁棒的6D相机位姿估计。该方法使用深度神经网络进行粗略且鲁棒的初始化，随后通过可微的IRLS-LM优化，实现了固定且低计算复杂度下的最先进精度——在合成数据和真实世界数据上，其性能与RANSAC相当，但速度高出数个数量级。

ABSTRACT

We consider the robust Perspective-n-Point (PnP) problem using a hybrid approach that combines deep learning with model based algorithms. PnP is the problem of estimating the pose of a calibrated camera given a set of 3D points in the world and their corresponding 2D projections in the image. In its more challenging robust version, some of the correspondences may be mismatched and must be efficiently discarded. Classical solutions address PnP via iterative robust non-linear least squares method that exploit the problem's geometry but are either inaccurate or computationally intensive. In contrast, we propose to combine a deep learning initial phase followed by a model-based fine tuning phase. This hybrid approach, denoted by PnP-Net, succeeds in estimating the unknown pose parameters under correspondence errors and noise, with low and fixed computational complexity requirements. We demonstrate its advantages on both synthetic data and real world data.

研究动机与目标

• 解决输入对应关系可能包含误匹配和噪声的鲁棒透视n点（PnP）问题。
• 降低经典鲁棒PnP方法（如RANSAC和迭代非线性最小二乘法）的计算负担，这些方法因重复采样或初始化不佳而速度较慢。
• 开发一种单次、端到端可微的框架，结合深度学习进行鲁棒初始化与基于模型的优化进行精炼。
• 实现在未见异常值分布下，从合成训练数据泛化到真实世界场景，而不会过拟合。

提出的方法

• 基于PointNet的深度神经网络处理3D-2D对应关系，生成粗略且鲁棒的初始位姿估计。
• 网络与可微的IRLS-LM（迭代重加权最小二乘法-Levenberg-Marquardt）优化阶段联合训练，实现端到端精炼。
• 整个流程可微，支持通过神经网络和优化步骤进行反向传播。
• 方法使用从理论PnP模型生成的合成数据，在受控的噪声和异常值条件下训练网络。
• 通过鲁棒损失函数（如Huber损失）和IRLS-LM阶段的迭代重加权实现异常值处理。
• 在不同异常值数量和先验分布下进行评估，包括训练期间未见的非均匀位姿分布。

实验结果

研究问题

• RQ1 深度神经网络能否为PnP提供对对应关系误匹配和噪声具有鲁棒性的准确初始位姿估计？
• RQ2 将深度学习与可微的基于模型优化相结合，是否能比纯深度学习或经典方法获得更高的精度和效率？
• RQ3 在合成数据上训练的系统能否有效泛化到具有未见异常值模式和分布的真实世界数据？
• RQ4 与SOTA方法（如RANSAC和REPPnP-LM）相比，该混合方法在精度和计算复杂度方面表现如何？
• RQ5 当推理时的位姿分布与训练分布不同时，该方法的鲁棒性在多大程度上仍保持？

主要发现

• PnP-Net在合成数据和真实世界数据上的成功率与RANSAC相当，同时保持了固定且低的计算复杂度。
• 在含异常值的合成数据上，PnP-Net显著优于REPPnP-LM及其他竞争方法，即使推理时的位姿先验分布与训练时不同。
• 该方法在ETH3D基准的真实世界数据上泛化良好，表现出与合成实验相似的性能趋势，且未出现过拟合。
• 即使在测试时异常值数量恒定（非训练时的均匀随机分布），PnP-Net仍持续优于REPPnP-LM，尤其在异常值少于4个时表现更优。
• 当位姿平移先验从均匀分布更改为正态分布时，网络的成功率略有下降，但仍全面优于所有竞争方法。
• 端到端可微训练使神经网络与IRLS-LM精炼步骤能够有效联合优化，从而实现鲁棒且精确的位姿估计。