[论文解读] ShapeFit and ShapeKick for Robust, Scalable Structure from Motion

Thomas Goldstein, Paul Hand+3 more|arXiv (Cornell University)|Aug 7, 2016

Advanced Vision and Imaging参考文献 24被引用 8

一句话总结

本文提出 ShapeFit 和 ShapeKick，一种基于凸优化的鲁棒、可扩展的运动结构方法，可在存在对抗性异常值的情况下，从受损的成对方向中实现相机位置的精确恢复。该方法在保持最先进重建精度的同时，相比先前方法实现了10倍的速度提升，提供可证明的恢复保证，并具备高效的数值实现。

ABSTRACT

We introduce a new method for location recovery from pair-wise directions that leverages an efficient convex program that comes with exact recovery guarantees, even in the presence of adversarial outliers. When pairwise directions represent scaled relative positions between pairs of views (estimated for instance with epipolar geometry) our method can be used for location recovery, that is the determination of relative pose up to a single unknown scale. For this task, our method yields performance comparable to the state-of-the-art with an order of magnitude speed-up. Our proposed numerical framework is flexible in that it accommodates other approaches to location recovery and can be used to speed up other methods. These properties are demonstrated by extensively testing against state-of-the-art methods for location recovery on 13 large, irregular collections of images of real scenes in addition to simulated data with ground truth.

研究动机与目标

• 解决运动结构流水线中的关键瓶颈：在存在对应错误的情况下，从成对相对方向中恢复全局相机位置。
• 开发一种对严重异常值具有鲁棒性的方法——这在由于重复结构而常见的建筑场景中普遍存在——且不依赖于误差分布的统计假设。
• 设计一种凸优化框架，即使在大量成对方向被破坏的情况下，也能保证相机位置的精确恢复。
• 实现高计算效率和可扩展性，使大规模图像集合的实时或近实时处理成为可能。
• 提供一个灵活的数值框架，可加速其他运动结构方法，并与现有流水线集成。

提出的方法

• ShapeFit 将位置恢复问题表述为一个凸优化程序，通过最小化观测与估计相对方向之间残差的 L1 范数，实现在对抗性污染下的精确恢复。
• 该方法利用半定规划松弛和低秩矩阵恢复框架，从成对相对方向中估计相机位置，并在特定条件下提供精确恢复的理论保证。
• ShapeKick 是 ShapeFit 的一种快速一阶算法实现，采用加速近端梯度法，相比先前方法实现至少10倍的速度提升。
• 该框架通过 1dSfM 和 LUD 实现异常值过滤，以增强鲁棒性，且可与其他方法结合以提升整体性能。
• 采用旋转锚定公式，利用已知相机旋转来约束平移估计，将问题简化为一个凸优化程序。
• 该方法设计为模块化且可组合，支持与现有 SfM 流水线集成，并兼容多种初始相对姿态估计器。

实验结果

研究问题

• RQ1 凸优化方法是否能在大量数据被对抗性破坏的情况下，仍能从成对相对方向中实现相机位置的精确恢复？
• RQ2 如何在不牺牲精度或鲁棒性的前提下，提升鲁棒位置恢复的计算效率？
• RQ3 在真实场景中由于重复结构或光照模糊性导致的严重异常值存在时，可证明的恢复保证能在多大程度上保持？
• RQ4 在大规模、不规则图像集合上，ShapeFit 和 ShapeKick 在重建误差和运行时间方面与最先进方法相比表现如何？
• RQ5 所提出的框架是否可用于加速其他运动结构算法？其与现有异常值过滤技术的交互方式如何？

主要发现

• ShapeFit 在部分被破坏的成对方向下实现了相机位置的精确恢复，即使在对抗性污染下也具有理论保证。
• ShapeKick 作为 ShapeFit 的快速一阶实现，运行速度至少比先前最先进方法快10倍，同时保持相近的重建精度。
• 在13个大规模真实世界数据集上，ShapeFit 和 ShapeKick 的中位重建误差与现有最佳方法相当，其中 LUD 的平均误差更低但中位误差更高。
• 通过 1dSfM 实现的异常值过滤显著提升了 ShapeFit 和 LUD 的鲁棒性，在罗马论坛和巴黎圣母院等数据集上，其恢复误差降低了2至10倍。
• 该方法对光照模糊性和重复结构具有鲁棒性——这些是建筑场景中导致对应失败的常见原因——在真实世界 SfM 流水线中展现出实际应用价值。
• 该框架具有高度可扩展性和高效性，运行时间显著优于非凸和非鲁棒的替代方案，尤其在大规模数据集（如 Piccadilly，826 张图像；维也纳大教堂，826 张图像）上表现突出。