[论文解读] Proxy Templates for Inverse Compositional Photometric Bundle Adjustment

Christopher Ham, Simon Lucey+1 more|arXiv (Cornell University)|Apr 23, 2017

Robotics and Sensor-Based Localization参考文献 8被引用 3

一句话总结

本文提出代理模板，以实现6-DoF相机位姿与逆深度参数化的逆复合光度束调整（PBA），克服了导致标准逆复合方法失效的病态导数问题。通过使用初始估计值对参考模板进行变形，该方法使梯度计算成为可能，并在仅造成轻微精度损失的情况下，实现相较于前向复合PBA高达13倍的加速。

ABSTRACT

Recent advances in 3D vision have demonstrated the strengths of photometric bundle adjustment. By directly minimizing reprojected pixel errors, instead of geometric reprojection errors, such methods can achieve sub-pixel alignment accuracy in both high and low textured regions. Typically, these problems are solved using a forwards compositional Lucas-Kanade formulation parameterized by 6-DoF rigid camera poses and a depth per point in the structure. For large problems the most CPU-intensive component of the pipeline is the creation and factorization of the Hessian matrix at each iteration. For many warps, the inverse compositional formulation can offer significant speed-ups since the Hessian need only be inverted once. In this paper, we show that an ordinary inverse compositional formulation does not work for warps of this type of parameterization due to ill-conditioning of its partial derivatives. However, we show that it is possible to overcome this limitation by introducing the concept of a proxy template image. We show an order of magnitude improvement in speed, with little effect on quality, going from forwards to inverse compositional in our own photometric bundle adjustment method designed for object-centric structure from motion. This means less processing time for large systems or denser reconstructions under the same real-time constraints. We additionally show that this theory can be readily applied to existing methods by integrating it with the recently released Direct Sparse Odometry SLAM algorithm.

研究动机与目标

• 解决在使用逆深度参数化结构时，逆复合光度束调整中偏导数病态的问题。
• 通过克服深度导数在恒等变形下消失的限制，实现高效的大规模光度束调整。
• 提出一种代理变形公式，使逆复合更新的梯度计算成为有效形式。
• 在自定义PBA与现有SLAM系统（如直接稀疏里程计DSO）中，展示显著的速度提升。
• 在计算资源受限的条件下，实现稠密重建与大规模SfM系统的实时性能。

提出的方法

• 首先使用初始位姿与深度估计值对参考模板进行变形，生成一个用于恒等变形的新评估点，从而引入代理变形。
• 将代理变形定义为 $\phi(\mathbf{x};\Delta\mathbf{p}) = \left< \mathbf{M}(\mathbf{R}\tilde{\mathbf{x}} + d\mathbf{t}) \right> $，其中 $\mathbf{R} = \Delta\mathbf{R}\mathbf{R}_0$，$\mathbf{t} = \mathbf{t}_0 + \Delta\mathbf{t}$，且 $d = d_0 + \Delta d$，确保 $\phi(\mathbf{x};\mathbf{0}) = \mathbf{x}$。
• 利用变形后的模板计算梯度，以实现逆复合更新，避免在每次迭代中重新计算海塞矩阵。
• 使用代理模板估计残差关于参数的雅可比矩阵，从而实现高效的逆复合更新。
• 将该方法应用于自定义光度束调整流水线，并与直接稀疏里程计（DSO）算法集成。
• 仅在每次优化中重新计算一次海塞矩阵，显著降低了大规模问题中的计算成本。

实验结果

研究问题

• RQ1 为何标准的逆复合公式化在使用6-DoF位姿与逆深度参数化时，对光度束调整失效？
• RQ2 能否构建一种代理模板，使得变形函数的所有偏导数在恒等变形处均非零？
• RQ3 所提出的代理变形公式是否能实现光度束调整中有效且高效的逆复合更新？
• RQ4 用逆复合PBA替代前向复合PBA，在速度与收敛性方面可实现多大性能提升？
• RQ5 代理模板方法能否有效集成到现有SLAM系统（如DSO）中，以提升跟踪效率？

主要发现

• 在玩具机器人序列上，逆复合方法相比前向复合方法实现了13倍加速，迭代次数更少，且位姿估计的相对误差更低。
• 在斯坦福野兔序列上，逆复合方法的收敛时间不足前向方法的四分之一，实现了4倍加速。
• 在合成真值序列上，逆复合方法比前向方法快逾7倍，位姿误差略高，深度误差略低。
• 与直接稀疏里程计（DSO）集成后，跟踪帧率提升了40%，最终相机轨迹与原始DSO相比仅相差0.047个单位。
• 该方法在显著提升速度的同时，保持了高重建质量，精度损失可忽略不计。
• 代理模板方法使原本因深度导数病态而不可行的逆复合优化在光度束调整中成为可能。