[论文解读] Trifocal Relative Pose from Lines at Points and its Efficient Solution

Ricardo Fabbri, Timothy Duff+9 more|arXiv (Cornell University)|Mar 23, 2019

Advanced Vision and Imaging参考文献 65被引用 6

一句话总结

本文提出了一种基于同伦连续法的新求解器 MINUS，用于解决两类最小三焦点相对姿态问题：三个点与一条直线，以及三个点与两条通过其中两点的直线。通过将数值代数几何技术专门化于这些典型情形，该方法在图像噪声下实现了鲁棒且高效的求解——在状态最先进SfM流程失败的挑战性数据集上实现了100%的成功率。

ABSTRACT

We present a method for solving two minimal problems for relative camera pose estimation from three views, which are based on three view correspondences of i) three points and one line and the novel case of ii) three points and two lines through two of the points. These problems are too difficult to be efficiently solved by the state of the art Groebner basis methods. Our method is based on a new efficient homotopy continuation (HC) solver framework MINUS, which dramatically speeds up previous HC solving by specializing HC methods to generic cases of our problems. We characterize their number of solutions and show with simulated experiments that our solvers are numerically robust and stable under image noise, a key contribution given the borderline intractable degree of nonlinearity of trinocular constraints. We show in real experiments that i) SIFT feature location and orientation provide good enough point-and-line correspondences for three-view reconstruction and ii) that we can solve difficult cases with too few or too noisy tentative matches, where the state of the art structure from motion initialization fails.

研究动机与目标

• 解决传统两视结构从运动（SfM）流程在特征稀少或模糊特征场景（如均质纹理、模糊或重复图案）下失效的问题。
• 克服现有Gröbner基方法的局限性，后者在混合点-线特征的三焦点姿态问题中因高次非线性约束而计算过慢。
• 为包含三张图像、三个点及一条或两条直线的最小问题，开发一种实用且数值稳定的求解器，实现在困难成像条件下的鲁棒三维重建。
• 证明SIFT特征方向作为稳定几何属性，可用于在三视图中消除对应关系歧义，从而实现可靠的三焦点几何估计。

提出的方法

• 提出一种新型同伦连续（HC）求解器框架 MINUS，专门针对两类典型三焦点最小问题：3P1L（三个点，一条直线）与3P2L（三个点，两条通过其中两点的直线）。
• 通过点投影与直线对应关系推导的参数方程来表述三焦点约束，并引入平移项以处理基点不匹配的问题。
• 利用基础矩阵的子式编码直线对应关系约束，将问题简化为14个未知数、64个方程的多项式方程组。
• 利用数值代数几何技术高效求解该方程组，避免了通用Gröbner基方法在计算上的不可行性。
• 将SIFT特征方向作为稳定几何属性集成，以增强三视图中对应关系的消歧能力。
• 通过在图像噪声下的模拟实验和在挑战性数据集上的真实世界测试，验证求解器的鲁棒性。

实验结果

研究问题

• RQ1 能否利用数值代数几何技术高效且鲁棒地求解包含三个点与一条直线的最小三焦点相对姿态问题？
• RQ2 3P1L与3P2L最小问题的实数解数量是多少？其在噪声与退化情况下的行为如何？
• RQ3 SIFT特征方向能否作为可靠几何属性，用于消除三视图重建中的对应关系歧义？
• RQ4 所提出的MINUS求解器是否在特征稀少或模糊的场景下优于现有SfM流程（如COLMAP）？
• RQ5 该框架能否推广至求解多视几何中涉及曲线与混合特征的其他困难最小问题？

主要发现

• 在典型配置下，3P1L与3P2L问题分别具有12个与16个实数解，解的数量通过数值延续法得到验证。
• 在Chicago数据集上，MINUS求解器的旋转误差为0.137°，平移误差为0.673°，在旋转精度方面优于其他三焦点方法。
• 在EPFL与Amsterdam Teahouse数据集上，该方法在COLMAP完全失败的20组三元组中的10组成功估计了姿态（相比标准流程提升100%）。
• 该方法在图像噪声下表现出数值鲁棒性，即使在边界难解配置下也能保持稳定性能。
• 真实实验确认，SIFT特征位置与方向足以提供可靠信息，实现三视图重建，即使在特征稀少或模糊的场景中亦然。
• 求解器已部分集成至OpenMVG SfM流程中，并正在评估集成至COLMAP的可行性，显示出实际应用价值。