[论文解读] Translation of "Zur Ermittlung eines Objektes aus zwei Perspektiven mit innerer Orientierung" by Erwin Kruppa (1913)

Guillermo Gallego, Elias Mueggler+1 more|arXiv (Cornell University)|Dec 25, 2017

Advanced Vision and Imaging参考文献 2被引用 5

一句话总结

本文提出了首个用于校准立体视觉中相对姿态估计的五点算法，证明了在已知内参校准的情况下，两幅透视图像之间的五组对应点足以确定刚性场景的三维结构（尺度未知）。Kruppa 证明，由绝对二次曲线的像所约束的对极几何最多可产生 11 个解（后被精炼为 10 个），这构成了计算机视觉中现代相对姿态估计与自标定方法的理论基础。

ABSTRACT

Erwin Kruppa's 1913 paper, Erwin Kruppa, "Zur Ermittlung eines Objektes aus zwei Perspektiven mit innerer Orientierung", Sitzungsberichte der Mathematisch-Naturwissenschaftlichen Kaiserlichen Akademie der Wissenschaften, Vol. 122 (1913), pp. 1939-1948, which may be translated as "To determine a 3D object from two perspective views with known inner orientation", is a landmark paper in Computer Vision because it provides the first five-point algorithm for relative pose estimation. Kruppa showed that (a finite number of solutions for) the relative pose between two calibrated images of a rigid object can be computed from five point matches between the images. Kruppa's work also gained attention in the topic of camera self-calibration, as presented in (Maybank and Faugeras, 1992). Since the paper is still relevant today (more than a hundred citations within the last ten years) and the paper is not available online, we ordered a copy from the German National Library in Frankfurt and provide an English translation along with the German original. We also adapt the terminology to a modern jargon and provide some clarifications (highlighted in sans-serif font). For a historical review of geometric computer vision, the reader is referred to the recent survey paper (Sturm, 2011).

研究动机与目标

• 在已知相机内参（内方位元素）的情况下，从两幅透视图像中确定刚性物体的三维结构。
• 通过利用已知的相机校准，将所需点对应关系的数量从非校准情形下的七个减少到五个。
• 在已知校准条件下，建立相对姿态与三维重建可能解数的理论上限。
• 形式化对极几何中绝对二次曲线的像（IAC）所引发的几何约束。
• 为利用五个点匹配与已知校准进行相对姿态估计，提供严谨的数学框架。

提出的方法

• Kruppa 利用相机的已知校准来确定绝对二次曲线的像（IAC），该量编码了内参信息，并在相似变换下保持不变。
• 他建立了基于圆锥曲线的对极约束：在每幅图像中，与 IAC 相切的两对对极线必须在射影变换下保持对应。
• 这些基于圆锥曲线的约束提供了除五组点对应之外的两个额外方程，从而能够求解对极几何。
• 解法涉及求解由两幅视图中 IAC 的切线直线之间的射影对应关系导出的多项式方程组。
• 从对极几何中恢复出相对姿态（尺度未知），并据此重建三维场景结构。
• 通过考虑绕基线的旋转对称性来处理多重解：绕基线旋转 180° 会得到等价的三维重建结果。

实验结果

研究问题

• RQ1 当相机校准已知时，是否仅凭五组点对应关系即可确定刚性物体的相对姿态与三维结构？
• RQ2 在已知校准的五点问题中，相对姿态的可能解数最大为多少？
• RQ3 绝对二次曲线的像（IAC）的约束如何减少对极几何中的自由度？
• RQ4 为何绕基线旋转 180° 不会改变重建的三维形状，这种对称性如何影响解的多重性？
• RQ5 已知相机校准如何提供足够约束，使得仅用五组点匹配即可求解对极几何？

主要发现

• 在已知校准的两幅透视图像之间，五组点对应关系足以确定刚性物体的相对姿态与三维结构（尺度未知）。
• 相对姿态的可能解数上限为 11 个，后经对称性分析精炼为 10 个不同的解，原因在于绕基线的 180° 旋转对称性。
• 绝对二次曲线的像（IAC）提供了两个额外约束，与五组点匹配结合后，可完全确定对极几何。
• 该方法为计算机视觉中现代五点算法奠定了理论基础，后由 Nister（2004）进一步形式化。
• 该工作为相机自标定提供了理论基础，后由 Maybank 与 Faugeras 利用相同的对极约束反向扩展。
• 解在相似变换下保持不变，且在无额外约束条件下无法恢复真实尺度。