[论文解读] Robust Camera Location Estimation by Convex Programming

Onur Özyeşil, Amit Singer|arXiv (Cornell University)|Nov 29, 2014

Robotics and Sensor-Based Localization参考文献 38被引用 5

一句话总结

本文提出了一种基于凸规划的鲁棒相机位姿估计方法，具体采用最小未平方偏差（LUD）求解器，以处理结构从运动中成对方向测量的噪声和异常值污染。通过利用平行刚性理论并采用两步法——鲁棒方向估计后接凸优化——即使在部分数据被污染的情况下，也能实现相机位姿的精确恢复，在真实互联网照片集合上，其准确性和稳定性优于现有方法。

ABSTRACT

$3$D structure recovery from a collection of $2$D images requires the estimation of the camera locations and orientations, i.e. the camera motion. For large, irregular collections of images, existing methods for the location estimation part, which can be formulated as the inverse problem of estimating $n$ locations $\mathbf{t}_1, \mathbf{t}_2, \ldots, \mathbf{t}_n$ in $\mathbb{R}^3$ from noisy measurements of a subset of the pairwise directions $\frac{\mathbf{t}_i - \mathbf{t}_j}{\|\mathbf{t}_i - \mathbf{t}_j\|}$, are sensitive to outliers in direction measurements. In this paper, we firstly provide a complete characterization of well-posed instances of the location estimation problem, by presenting its relation to the existing theory of parallel rigidity. For robust estimation of camera locations, we introduce a two-step approach, comprised of a pairwise direction estimation method robust to outliers in point correspondences between image pairs, and a convex program to maintain robustness to outlier directions. In the presence of partially corrupted measurements, we empirically demonstrate that our convex formulation can even recover the locations exactly. Lastly, we demonstrate the utility of our formulations through experiments on Internet photo collections.

研究动机与目标

• 解决现有相机位姿估计方法在成对方向测量存在噪声或异常值污染时的不稳定性问题。
• 利用平行刚性理论，对相机位姿估计问题的适定实例进行完整表征。
• 开发一种鲁棒的、基于凸优化的方法，即使在真实图像集合中存在异常方向，也能保持高精度。
• 通过生成高精度的相机位姿估计，为结构从运动中的捆绑调整提供高质量初始化。

提出的方法

• 该方法引入两步流程：首先，通过鲁棒的成对方向估计步骤，减轻因点对应关系误识别导致的误差。
• 其次，采用凸优化公式——命名为最小未平方偏差（LUD）求解器——通过最小化方向测量误差的L1范数，增强对异常值的鲁棒性。
• LUD求解器被表述为凸规划问题，用于从噪声成对方向向量中估计三维相机位姿，确保全局最优性和稳定性。
• 该方法利用与平行刚性理论的理论联系，识别可用于可靠估计的图像子集。
• 预处理步骤提取最大最大平行刚性组件，以提高数值稳定性并减少误差传播。
• 该方法在真实互联网照片集合上进行了评估，最终的三维结构通过捆绑调整进行优化。

实验结果

研究问题

• RQ1 在何种条件下，相机位姿估计问题是适定的？如何利用平行刚性理论对此进行表征？
• RQ2 当方向测量部分被异常值污染时，凸优化公式能否实现相机位姿的精确恢复？
• RQ3 在异常值条件下，所提出的LUD求解器与CLS、SDR和1DSfM等现有方法相比，在鲁棒性和准确性方面表现如何？
• RQ4 鲁棒方向估计与凸规划的结合，在多大程度上能共同提升结构从运动流程的初始化质量？

主要发现

• 即使高达50%的方向测量被污染，LUD求解器仍能实现相机位姿的精确恢复，而其他求解器（如CLS或SDR）不具备此能力。
• 实验结果表明，LUD求解器在高异常值率下，其相机位姿估计精度显著优于CLS、SDR和1DSfM方法。
• 在Piazza del Popolo和Yorkminster等真实世界数据集上，经过捆绑调整后，LUD求解器将平移误差降低了高达80%，相比CLS方法。
• 该方法的计算成本仅比CLS和1DSfM略高，在维也纳大教堂（10,000+张图像）等大型数据集上，总运行时间低于10分钟。
• 鲁棒方向估计与LUD求解器的结合，成功生成了至少三个相机可见的高质量三维结构，如图6所示。
• 在准确性和对异常方向的鲁棒性方面，LUD求解器优于基于PCA的基线方法和现有凸求解器。