[论文解读] Multistage SFM: A Coarse-to-Fine Approach for 3D Reconstruction

Rajvi Shah, Aditya Deshpande+1 more|arXiv (Cornell University)|Dec 19, 2015

Robotics and Sensor-Based Localization参考文献 40被引用 12

一句话总结

本文提出了一种多阶段、粗到精的结构光束法（SFM）框架，通过首先使用SIFT特征的子集构建粗略的3D模型，然后在并行阶段逐步定位剩余图像并匹配未检测到的特征，从而加速3D重建。该方法在保持与标准SFM相当的重建质量的同时，通过利用初始粗略模型的几何约束，显著提升了速度和并行性。

ABSTRACT

Several methods have been proposed for large-scale 3D reconstruction from large, unorganized image collections. A large reconstruction problem is typically divided into multiple components which are reconstructed independently using structure from motion (SFM) and later merged together. Incremental SFM methods are most popular for the basic structure recovery of a single component. They are robust and effective but are strictly sequential in nature. We present a multistage approach for SFM reconstruction of a single component that breaks the sequential nature of the incremental SFM methods. Our approach begins with quickly building a coarse 3D model using only a fraction of features from given images. The coarse model is then enriched by localizing remaining images and matching and triangulating remaining features in subsequent stages. These stages are made efficient and highly parallel by leveraging the geometry of the coarse model. Our method produces similar quality models as compared to incremental SFM methods while being notably fast and parallel.

研究动机与目标

• 通过引入多阶段、粗到精的重建流水线，减少增量SFM的顺序瓶颈。
• 通过利用初始粗略模型的几何约束，提高大规模3D重建中的效率和并行性。
• 通过智能的特征匹配和图像定位策略，实现在速度和密度上的更快、更完整的3D重建。

提出的方法

• 仅使用SIFT特征的一小部分，通过基于尺度的特征选择方法构建粗略3D模型。
• 利用粗略模型的几何约束（如点-相机可见性、对极几何和相机角度）来指导并加速后续阶段。
• 在后期阶段应用快速3D-2D匹配技术，实现相机姿态估计与图像定位的并行处理。
• 实施一种几何感知的特征匹配策略，通过对极和可见性约束过滤图像对，并提高对应点密度。
• 利用GPU加速的并行原原子（如Thrust库）实现基于Kd-tree的高维特征搜索与候选匹配，提升效率。
• 采用分阶段流水线：首先构建粗略模型，然后逐步定位剩余图像并匹配未检测特征，实现高度并行处理。

实验结果

研究问题

• RQ1 粗到精的方法是否能在保持重建质量的同时减少增量SFM的顺序依赖性？
• RQ2 初始粗略模型提供的几何约束在多大程度上能提升后续特征匹配和相机定位的速度与准确性？
• RQ3 通过在粗略模型构建后再推迟繁重计算，能否显著增强SFM中的并行化程度？
• RQ4 快速3D-2D匹配技术能否有效集成到多阶段SFM流水线中以提升效率？
• RQ5 在真实世界数据集上，该方法与基线SFM方法相比，在速度和完整性方面表现如何？

主要发现

• 所提出的多阶段SFM方法在保持与标准SFM相当的重建质量的同时，显著提升了速度和并行性。
• 在Cornell Arts Quad数据集上，该方法成功重建了170万个3D点和4,429个相机，其完整性和细节表现优于基线模型。
• 粗略模型使得仅使用20%的特征子集即可生成全局结构，有效引导完整重建，减少冗余计算。
• GPU加速的几何感知匹配算法在高维特征空间中相比CPU方法实现了显著的速度提升。
• 该方法成功恢复了基线方法遗漏的区域（如图9中的红框区域），证明了其更高的完整性。
• 通过在几何约束可用后再延迟执行密集计算，该方法有效利用了多核和GPU资源。