[论文解读] Towards Scale Consistent Monocular Visual Odometry by Learning from the Virtual World

Sen Zhang, Jing Zhang+1 more|arXiv (Cornell University)|Mar 10, 2022

Advanced Vision and Imaging被引用 4

一句话总结

该论文提出VRVO，一种尺度一致的单目视觉里程计框架，利用合成虚拟数据进行尺度监督，同时在训练和推理过程中仅使用真实单目图像。通过结合对抗性域自适应、虚拟立体优化目标以及学习与优化之间的相互增强管道，VRVO在KITTI和vKITTI2数据集上实现了最先进水平的精度，且显著降低了尺度漂移。

ABSTRACT

Monocular visual odometry (VO) has attracted extensive research attention by providing real-time vehicle motion from cost-effective camera images. However, state-of-the-art optimization-based monocular VO methods suffer from the scale inconsistency problem for long-term predictions. Deep learning has recently been introduced to address this issue by leveraging stereo sequences or ground-truth motions in the training dataset. However, it comes at an additional cost for data collection, and such training data may not be available in all datasets. In this work, we propose VRVO, a novel framework for retrieving the absolute scale from virtual data that can be easily obtained from modern simulation environments, whereas in the real domain no stereo or ground-truth data are required in either the training or inference phases. Specifically, we first train a scale-aware disparity network using both monocular real images and stereo virtual data. The virtual-to-real domain gap is bridged by using an adversarial training strategy to map images from both domains into a shared feature space. The resulting scale-consistent disparities are then integrated with a direct VO system by constructing a virtual stereo objective that ensures the scale consistency over long trajectories. Additionally, to address the suboptimality issue caused by the separate optimization backend and the learning process, we further propose a mutual reinforcement pipeline that allows bidirectional information flow between learning and optimization, which boosts the robustness and accuracy of each other. We demonstrate the effectiveness of our framework on the KITTI and vKITTI2 datasets.

研究动机与目标

• 解决基于优化的单目视觉里程计中的尺度不一致问题，该问题会导致长轨迹中的漂移。
• 克服现有方法在训练期间需要昂贵的真实标签或双目数据的局限性。
• 在仅使用易于获取的虚拟数据进行绝对尺度恢复的同时，保持单目真实图像的推理能力。
• 通过引入双向反馈，减少学习与优化之间单向信息流导致的次优性。
• 在实际部署中不依赖外部传感器或标注数据，实现鲁棒且精确的视觉里程计。

提出的方法

• 使用已知基线和真实视差的单目真实图像与双目虚拟数据联合训练一个尺度感知的视差网络。
• 应用对抗性域自适应，对齐真实图像与虚拟图像的特征分布，弥合虚拟到真实之间的域差距。
• 将预测的视差整合进直接视觉里程计系统中，用于初始化深度，并构建一个虚拟立体目标，以在长轨迹中强制实现尺度一致性。
• 提出一种相互增强管道，使优化后端的反馈能够改进学习过程，从而提升鲁棒性与精度。
• 引入可学习的加权超参数 $\lambda^{*}_{p}$ 来平衡相互增强损失，防止对优化误差的过拟合。
• 利用虚拟环境生成大规模、逼真的训练序列，并以低成本提供精确的几何标签。

实验结果

研究问题

• RQ1 能否有效利用虚拟数据在不依赖真实世界双目或真实标签数据的情况下，学习单目视觉里程计中的绝对尺度？
• RQ2 如何最小化合成虚拟数据与真实世界图像之间的域差距，以实现尺度感知表征的有效迁移？
• RQ3 学习与优化之间双向信息流在多大程度上提升了单目视觉里程计的精度与鲁棒性？
• RQ4 所提方法是否能在仅使用单目真实图像进行推理的前提下，在KITTI等真实世界基准上实现最先进性能？
• RQ5 从虚拟数据中学到的尺度感知能力在具有不同相机内参的未见真实世界数据集上具有多大泛化能力？

主要发现

• VRVO在KITTI Seq.09和Seq.10上均实现了最佳旋转误差 ($r_{err}$)，其中Seq.10的 $r_{err} = 0.280^\circ/100m$，优于使用光流或在线微调的方法。
• 通过引入相互增强模块，Seq.09的平移误差 ($t_{err}$) 降低至 $1.546\% \pm 0.021$，显著优于基线方法。
• 通过引入相互增强管道，$t_{err}$ 的标准差从 $0.368$ 降低至 $0.021$，表明鲁棒性显著提升。
• 在KITTI Seq.09和Seq.10上，预测深度与真实深度之间的中值深度缩放比为 $1.011$，表明具有出色的尺度精度。
• 该方法可泛化至未见数据集如Make3D，实现 $1.594$ 的缩放比，尽管由于相机内参差异导致性能下降。
• 消融实验确认相互增强模块至关重要：当 $\lambda^{*}_{p} = 0.01$ 时性能最优，而更高值如 0.1 会导致对优化误差的过拟合。