[论文解读] Stereo DSO: Large-Scale Direct Sparse Visual Odometry with Stereo Cameras

Rui Wang, Martin Schwörer+1 more|arXiv (Cornell University)|Aug 25, 2017

Robotics and Sensor-Based Localization参考文献 25被引用 45

一句话总结

Stereo DSO 提出了一种使用双目相机的实时、大规模视觉里程计系统，通过捆绑调整在滑动窗口内联合优化相机位姿、内参/外参以及稀疏深度值。通过将静态双目约束整合到时间多视角立体视觉流程中，并采用均匀的基于梯度的像素采样，该方法在处理尺度漂移和光流挑战方面，相较于最先进单目与双目方法展现出更优的精度与鲁棒性。

ABSTRACT

We propose Stereo Direct Sparse Odometry (Stereo DSO) as a novel method for highly accurate real-time visual odometry estimation of large-scale environments from stereo cameras. It jointly optimizes for all the model parameters within the active window, including the intrinsic/extrinsic camera parameters of all keyframes and the depth values of all selected pixels. In particular, we propose a novel approach to integrate constraints from static stereo into the bundle adjustment pipeline of temporal multi-view stereo. Real-time optimization is realized by sampling pixels uniformly from image regions with sufficient intensity gradient. Fixed-baseline stereo resolves scale drift. It also reduces the sensitivities to large optical flow and to rolling shutter effect which are known shortcomings of direct image alignment methods. Quantitative evaluation demonstrates that the proposed Stereo DSO outperforms existing state-of-the-art visual odometry methods both in terms of tracking accuracy and robustness. Moreover, our method delivers a more precise metric 3D reconstruction than previous dense/semi-dense direct approaches while providing a higher reconstruction density than feature-based methods.

研究动机与目标

• 开发一种实时、大规模视觉里程计系统，实现在复杂动态环境中高精度与高鲁棒性。
• 通过利用固定基线双目相机，解决直接单目方法在尺度漂移和大光流敏感性方面的问题。
• 通过联合优化稀疏深度与相机参数，相较于基于特征的方法与密集直接方法，提升重建密度与度量精度。
• 在滚动快门效应与极端亮度变化等挑战性条件下，实现鲁棒性能。
• 在保持高于基于特征方法的密度的同时，提供比以往半密集直接方法更精确的三维重建。

提出的方法

• 采用滑动窗口优化框架，联合优化选定像素的相机位姿、内参/外参以及稀疏深度值。
• 将来自左右相机固定基线的静态双目约束整合到捆绑调整流程中，以保证几何一致性。
• 对具有足够强度梯度的图像区域进行均匀像素采样，以实现实时优化，且无需依赖GPU支持。
• 采用基于Schur补的边缘化方案，高效处理窗口化框架内的大规模优化问题。
• 在光度误差项中引入仿射亮度校正以应对光照变化，尽管对极端亮度变化仍显敏感。
• 利用同步双目图像采集，通过多视角立体一致性隐式减轻滚动快门效应的影响。

实验结果

研究问题

• RQ1 直接稀疏视觉里程计系统是否能在大规模环境中实现比最先进单目与双目方法更高的精度与鲁棒性？
• RQ2 将静态双目约束整合到捆绑调整流程中，相较于单目直接方法，如何改善尺度估计并减少漂移？
• RQ3 基于梯度的均匀像素采样在不牺牲跟踪精度的前提下，能在多大程度上实现实时性能？
• RQ4 该方法在滚动快门效应与极端光照变化等挑战性条件下的表现如何？
• RQ5 所提方法是否能提供比基于特征方法或密集直接方法更密集且更精确的三维重建？

主要发现

• 在KITTI数据集上，Stereo DSO优于最先进单目与双目视觉里程计方法，即使在无回环检测的情况下，仍展现出更高的跟踪精度与鲁棒性。
• 在KITTI测试集上，Stereo DSO的表现优于带有回环检测与全局捆绑调整的Stereo ORB-SLAM2，证明其在尺度估计与轨迹一致性方面具有更优性能。
• 该方法实现了高密度的精确度量三维重建，其密度高于基于特征的方法，精度也优于以往的半密集或密集直接方法。
• 在Cityscapes法兰克福序列的定性结果表明，尽管存在高动态范围光照与移动物体，系统仍能实现稳定跟踪与精确重建。
• 静态双目约束的集成有效缓解了尺度漂移，并降低了对大光流与滚动快门效应的敏感性。
• 尽管在处理极端亮度变化（如自动曝光跳变）方面存在局限，该方法在大多数真实场景下仍保持鲁棒，失败案例主要归因于仿射亮度建模不足以应对极端变化。