[论文解读] RPBA -- Robust Parallel Bundle Adjustment Based on Covariance Information

Helmut Mayer|arXiv (Cornell University)|Oct 17, 2019

Advanced Vision and Imaging参考文献 37被引用 6

一句话总结

本文提出RPBA，一种鲁棒的并行bundle adjustment方法，通过使用固定相机下3D点交点的协方差信息替代基于一致性方法中的惩罚参数，实现了无需调参的更快、更稳定的收敛。通过利用固定相机调整3D点并结合其协方差，该方法在更少的迭代次数内实现了优于当前最先进并行SfM方法的高质量结果。

ABSTRACT

A core component of all Structure from Motion (SfM) approaches is bundle adjustment. As the latter is a computational bottleneck for larger blocks, parallel bundle adjustment has become an active area of research. Particularly, consensus-based optimization methods have been shown to be suitable for this task. We have extended them using covariance information derived by the adjustment of individual three-dimensional (3D) points, i.e., "triangulation" or "intersection". This does not only lead to a much better convergence behavior, but also avoids fiddling with the penalty parameter of standard consensus-based approaches. The corresponding novel approach can also be seen as a variant of resection / intersection schemes, where we adjust during intersection a number of sub-blocks directly related to the number of threads available on a computer each containing a fraction of the cameras of the block. We show that our novel approach is suitable for robust parallel bundle adjustment and demonstrate its capabilities in comparison to the basic consensus-based approach as well as a state-of-the-art parallel implementation of bundle adjustment. Code for our novel approach is available on GitHub: https://github.com/helmayer/RPBA

研究动机与目标

• 解决大规模SfM流水线中bundle adjustment的计算瓶颈。
• 克服基于一致性的并行bundle adjustment方法中惩罚参数ρ的人工调参需求。
• 通过在子块调整过程中引入3D点交点的协方差信息，提升收敛稳定性和精度。
• 通过利用线程级独立性实现高效、可扩展的并行处理，同时保持高解决方案质量。
• 开发一种鲁棒的估计框架，在点交点和重摄影阶段集成异常值检测。

提出的方法

• 将基于一致性的bundle adjustment中的全局惩罚加权（ρ）替换为使用固定相机进行3D点交点计算得到的逆协方差矩阵。
• 通过子块间的前向交点计算，获得精确的3D坐标和完整的协方差矩阵。
• 利用协方差信息对bundle adjustment过程中的连接点（TPs）进行加权，从而取代对ρ的依赖。
• 在交点过程中应用鲁棒估计，基于残差统计检测并排除异常值。
• 通过可见性图的聚类（将相机作为节点，共享的3D点作为边）将块划分为子块，确保负载均衡。
• 通过在各线程间交换并平均3D点坐标及其协方差，实现结果同步，保持几何一致性。

实验结果

研究问题

• RQ1 基于3D点交点的协方差信息能否替代基于一致性的并行bundle adjustment中的惩罚参数ρ，实现在无需调参情况下的更好收敛？
• RQ2 与标准基于一致性的方法相比，使用协方差加权的3D点如何影响收敛速度和解决方案精度？
• RQ3 能否通过基于交点的异常值检测，有效集成鲁棒估计到并行bundle adjustment流水线中？
• RQ4 所提出的方法在显著减少计算时间的同时，能否保持与串行bundle adjustment相当的解决方案质量？
• RQ5 在大规模SfM应用中，RPBA的性能如何随线程数和块大小的增加而扩展？

主要发现

• 在Dino数据集上，RPBA将计算时间从串行的155.6秒减少到5个线程并行的53.1秒，实现了3.8倍的加速。
• 最终重投影误差σ₀从串行的0.41像素降低到并行的0.40像素，表明精度相当。
• 并行与串行解决方案之间方差比为0.983 ± 0.023（中位数0.981），证实了解决方案质量得到保持。
• 串行与并行方法在多个相机上投影的点数几乎完全相同，表明块稳定性强。
• 由于通过协方差实现了更清晰的加权，该方法比标准基于一致性的方法在更少的迭代次数内收敛。
• 交点过程中的异常值检测实现了有效的鲁棒估计，提升了对噪声或误匹配观测的鲁棒性。