[论文解读] OmniSLAM: Omnidirectional Localization and Dense Mapping for Wide-baseline Multi-camera Systems

Changhee Won, Hochang Seok+3 more|arXiv (Cornell University)|Mar 18, 2020

Advanced Vision and Imaging参考文献 46被引用 4

一句话总结

本文提出 OmniSLAM，一种针对广基线全向多相机系统（采用鱼眼镜头）的鲁棒视觉 SLAM 与稠密建图系统。该系统引入轻量化、高精度的深度神经网络以实现 360° 深度估计，将深度信息整合至视觉里程计中以提升特征匹配与回环检测性能，并将结果融合至 TSDF 体素中以实现高保真度 3D 重建，在合成与真实环境场景中均达到最先进水平的精度。

ABSTRACT

In this paper, we present an omnidirectional localization and dense mapping system for a wide-baseline multiview stereo setup with ultra-wide field-of-view (FOV) fisheye cameras, which has a 360 degrees coverage of stereo observations of the environment. For more practical and accurate reconstruction, we first introduce improved and light-weighted deep neural networks for the omnidirectional depth estimation, which are faster and more accurate than the existing networks. Second, we integrate our omnidirectional depth estimates into the visual odometry (VO) and add a loop closing module for global consistency. Using the estimated depth map, we reproject keypoints onto each other view, which leads to a better and more efficient feature matching process. Finally, we fuse the omnidirectional depth maps and the estimated rig poses into the truncated signed distance function (TSDF) volume to acquire a 3D map. We evaluate our method on synthetic datasets with ground-truth and real-world sequences of challenging environments, and the extensive experiments show that the proposed system generates excellent reconstruction results in both synthetic and real-world environments.

研究动机与目标

• 为解决传统立体系统在全向感知中的局限性，特别是视场受限与盲区问题。
• 为配备超广角鱼眼镜头的广基线全向多相机系统，开发一种实用、高效且高精度的稠密建图系统。
• 通过轻量化深度神经网络，提升 360° 全景图像的深度估计精度与速度。
• 将全向深度信息整合至视觉里程计中，通过回环检测提升位姿估计精度与全局一致性。
• 通过将深度图与相机位姿融合至截断符号距离函数（TSDF）体素中，实现高质量 3D 重建。

提出的方法

• 提出改进且轻量化的深度神经网络，用于从鱼眼图像中进行全向深度估计，相比先前方法显著降低 GPU 显存占用与推理时间，同时提升精度。
• 将估计的深度图整合至 ROVO 视觉里程计框架中，通过跨视图重投影关键点，提升视图间特征匹配与三角测量性能。
• 为全向设置设计专用的回环检测模块，以校正轨迹漂移并提升全局一致性。
• 使用截断符号距离函数（TSDF）体素，将全向深度图与估计的相机刚体位姿融合为一致的 3D 重建结果。
• 应用图像预处理技术，如直方图均衡化与伽马校正，以提升在低对比度或纹理缺失区域的深度估计性能。
• 采用基于关键帧的融合策略，并结合观测次数过滤机制，以降低噪声并提升在大面墙或地板等挑战区域的地图质量。

实验结果

研究问题

• RQ1 能否为广基线鱼眼相机开发出轻量化且高精度的深度神经网络，以提升 360° 深度估计的效率与性能？
• RQ2 将全向深度信息整合至视觉里程计中，如何提升复杂环境中位姿估计的精度与鲁棒性？
• RQ3 专用回环检测模块在多大程度上提升了全向 SLAM 系统的全局一致性？
• RQ4 将深度与位姿融合至 TSDF 体素中，能否在多样化的现实与合成场景中生成高保真度 3D 地图？
• RQ5 所提出的系统是否能在保持计算实用性的同时，实现最先进水平的重建质量，并支持实时部署？

主要发现

• 所提出的 OmniMVS+ 与 Tiny+ 网络在参数量更少、GPU 显存占用更低的前提下，相比 OmniMVS [15] 实现了更高的精度与更快的推理速度。
• 集成深度信息后的 ROVO+ 显著降低了轨迹漂移，在合成与真实场景序列中均优于 ROVO [14]。
• 在 ROVO+ 中加入回环检测后，轨迹对齐性能进一步提升，如在户外环境中与卫星地图的对应关系更优。
• 在合成数据集上，OmniMVS+ 与 Tiny+ 在所有阈值下均表现出更优的完整度与精度，尤其在低阈值（如 0.1m）下优势显著。
• 该系统成功重建了具有挑战性的室内与室外环境的详细 3D 地图，包括纹理缺失区域与小型物体，相关结果在 IT/BT 与 Wangsimni 数据集中得到验证。
• 采用观测次数过滤与优化体素尺寸（0.05m–0.15m）的 TSDF 融合策略，显著提升了地图质量，尤其在大面积低纹理区域表现更佳。