[论文解读] Parallel Structure from Motion from Local Increment to Global Averaging

Siyu Zhu, Tianwei Shen+5 more|arXiv (Cornell University)|Feb 28, 2017

Robotics and Sensor-Based Localization参考文献 61被引用 40

一句话总结

该论文提出了一种可扩展的并行SfM（运动结构）流水线，通过基于图的相机聚类算法保留相机之间的连接性，实现了对超过一百万张高分辨率图像的城市级场景的精确且一致的重建。通过结合局部增量式SfM与全局运动平均，该方法在将峰值内存使用量降低至仅34.62GB（轨迹生成阶段）和0.53GB（捆绑调整阶段）的同时，实现了最先进的精度，显著优于单台计算机的内存限制。

ABSTRACT

In this paper, we tackle the accurate and consistent Structure from Motion (SfM) problem, in particular camera registration, far exceeding the memory of a single computer in parallel. Different from the previous methods which drastically simplify the parameters of SfM and sacrifice the accuracy of the final reconstruction, we try to preserve the connectivities among cameras by proposing a camera clustering algorithm to divide a large SfM problem into smaller sub-problems in terms of camera clusters with overlapping. We then exploit a hybrid formulation that applies the relative poses from local incremental SfM into a global motion averaging framework and produce accurate and consistent global camera poses. Our scalable formulation in terms of camera clusters is highly applicable to the whole SfM pipeline including track generation, local SfM, 3D point triangulation and bundle adjustment. We are even able to reconstruct the camera poses of a city-scale data-set containing more than one million high-resolution images with superior accuracy and robustness evaluated on benchmark, Internet, and sequential data-sets.

研究动机与目标

• 解决大规模、高分辨率SfM场景重建中超过单台计算机内存容量的挑战。
• 在整个重建过程中保持相机之间的连接性及其对应轨迹，以提升精度与一致性。
• 开发一种可扩展的并行流水线，支持SfM的所有阶段：轨迹生成、局部SfM、三维三角测量和捆绑调整。
• 克服现有全局与增量式SfM方法的局限性，这些方法要么牺牲连接性，要么存在漂移误差并导致高内存使用量。

提出的方法

• 提出一种基于图的相机聚类算法，将SfM问题分解为重叠的相机簇，以保留关键连接性。
• 在每个簇内应用局部增量式SfM，利用P3P与RANSAC结合非线性捆绑调整计算精确的相对相机位姿。
• 将局部SfM得到的相对位姿整合到全局运动平均框架中，以计算一致的全局相机位姿。
• 采用混合SfM公式，结合增量式SfM的鲁棒性与运动平均的全局一致性。
• 通过基于簇的分解，将SfM流水线的所有阶段——包括轨迹生成、三角测量和捆绑调整——分布到多台计算机上执行。
• 通过独立处理每个簇并最小化数据传输，优化内存使用，实现超越单机限制的可扩展性。

实验结果

研究问题

• RQ1 可扩展的SfM流水线是否能在超越单台计算机内存限制的前提下，成功保留大规模重建中的相机间连接性？
• RQ2 如何将增量式SfM的精度与全局运动平均相结合，以实现一致且全局最优的相机位姿？
• RQ3 与传统的全局或增量式SfM方法相比，基于簇的分解在精度和内存效率方面能带来多大的性能提升？
• RQ4 所提出的流水线在包含超过一百万张高分辨率图像的城市级数据集上，其可扩展性达到何种程度？
• RQ5 在基准数据集、互联网数据集和序列数据集上，该方法与最先进的SfM流水线相比，在精度和鲁棒性方面表现如何？

主要发现

• 所提出的流水线成功从包含超过一百万张5000万像素图像的城市级数据集中重建了121万组相机位姿和16.8亿个3D点，远超单台计算机的内存限制。
• 峰值内存使用量降低至34.62GB（轨迹生成阶段）和0.53GB（捆绑调整阶段），分别仅为标准流水线内存使用量的2.1%–8.7%和0.1%–3.8‰。
• 在City-A数据集（3615万像素）上，平均重投影误差为1.18像素，尽管使用了原始高分辨率图像，其精度仍优于标准流水线。
• 相机聚类步骤的运行时间仅为3.57–11.71分钟，表明其在整体流水线中具有极高的效率。
• 使用10台计算机，系统在一天内完成了13.8万台相机和1亿个3D点的重建，证明了其在大规模应用中的可扩展性与实用性。
• 在纹理网格模型上的视觉结果证实了高几何保真度与一致性，验证了重建相机位姿的准确性。