[论文解读] ROVO: Robust Omnidirectional Visual Odometry for Wide-baseline Wide-FOV Camera Systems

Hochang Seok, Jongwoo Lim|arXiv (Cornell University)|Feb 28, 2019

Robotics and Sensor-Based Localization参考文献 22被引用 4

一句话总结

本文提出 ROVO，一种针对广基线、大视场角鱼眼相机阵列的鲁棒全向视觉里程计系统。它引入了一种混合投影模型以减少畸变并提升特征匹配性能，采用多视角 P3P RANSAC 算法实现鲁棒位姿估计，并将在线外参标定集成到捆绑调整中，从而在真实与合成数据集上均实现了高精度与高稳定性，尤其在动态环境中表现优异。

ABSTRACT

In this paper we propose a robust visual odometry system for a wide-baseline camera rig with wide field-of-view (FOV) fisheye lenses, which provides full omnidirectional stereo observations of the environment. For more robust and accurate ego-motion estimation we adds three components to the standard VO pipeline, 1) the hybrid projection model for improved feature matching, 2) multi-view P3P RANSAC algorithm for pose estimation, and 3) online update of rig extrinsic parameters. The hybrid projection model combines the perspective and cylindrical projection to maximize the overlap between views and minimize the image distortion that degrades feature matching performance. The multi-view P3P RANSAC algorithm extends the conventional P3P RANSAC to multi-view images so that all feature matches in all views are considered in the inlier counting for robust pose estimation. Finally the online extrinsic calibration is seamlessly integrated in the backend optimization framework so that the changes in camera poses due to shocks or vibrations can be corrected automatically. The proposed system is extensively evaluated with synthetic datasets with ground-truth and real sequences of highly dynamic environment, and its superior performance is demonstrated.

研究动机与目标

• 解决由于极端镜头畸变和大视点差异导致的广基线、大视场角鱼眼相机系统中特征匹配与位姿估计的挑战。
• 提升在移动物体主导视野的高动态环境中的鲁棒性。
• 缓解因相机阵列形变或初始外参标定不准确在运行过程中引起的漂移与误差。
• 通过最小化基线损失的多张重叠鱼眼图像，实现精确的度量自身运动估计。
• 开发一种在真实世界条件下（如光照快速变化、狭窄通道、高密度车流）仍能保持高性能的系统。

提出的方法

• 提出一种结合透视投影与圆柱投影的混合投影模型，以最小化畸变并最大化鱼眼视图间的特征重叠。
• 利用混合投影实现跨视图的连续特征跟踪与一致的描述子计算。
• 提出一种多视角 P3P RANSAC 算法，可同时评估所有视图中的内点，从而提升位姿估计的鲁棒性。
• 将在线外参标定集成到局部捆绑调整框架中，以动态校正因冲击或振动引起的相机阵列与相机间位姿误差。
• 采用标准相机阵列标定方法，使用大尺寸标定板进行初始外参参数估计。
• 将系统应用于包含真实轨迹的合成数据集以及车辆搭载阵列采集的真实世界序列。

实验结果

研究问题

• RQ1 在具有显著镜头畸变的广基线、大视场角鱼眼相机系统中，如何提升特征匹配性能？
• RQ2 P3P RANSAC 的多视角扩展是否能增强在移动物体主导的高动态场景中的位姿估计鲁棒性？
• RQ3 在线外参标定在多大程度上可减少漂移并提升真实部署中的精度？
• RQ4 与标准鱼眼投影或等距柱状投影相比，混合投影模型在特征匹配质量方面表现如何？
• RQ5 在快速光照变化与狭窄城市街道等极端环境条件下，所提系统是否能保持高精度？

主要发现

• 混合投影模型将平均描述子距离从 124.85 降低至 35.27，内点率从 21.53% 提升至 73.16%，显著提高了特征匹配的可靠性。
• 通过在线外参标定，即使初始外参参数存在噪声（σ = 5°），系统也能在 100 帧内收敛至正确值，并将轨迹误差降低至接近真实值水平。
• 在 ParkingLot 序列中，系统在无需回环检测的情况下实现了精确的轨迹估计，展现出强大的局部一致性。
• 在 Wangsimni 与 Seongsu 真实世界序列中，系统成功排除了移动车辆带来的异常值，并在狭窄、动态的城市街道中保持了精确的位姿估计。
• 在线标定显著提升了重投影误差与内点率，性能趋近于真实外参参数下的水平。
• 系统在重交通、快速光照变化及高动态范围场景等挑战性条件下表现出强鲁棒性，在合成与真实数据集上均优于基线方法。