[论文解读] Real-time Scalable Dense Surfel Mapping

Kaixuan Wang, Fei Gao+1 more|arXiv (Cornell University)|Sep 10, 2019

Robotics and Sensor-Based Localization参考文献 23被引用 4

一句话总结

本论文提出了一种仅使用CPU的实时密集surfel映射系统，通过基于超像素的surfel和基于姿态图的融合，实现在大规模环境中的全局一致性。通过根据SLAM姿态图组织surfel，该方法保持了O(1)的融合时间，并支持快速的地图形变以修正回环闭合，从而实现可扩展、内存高效的重建，适用于RGB-D、立体或单目深度输入，且无需GPU加速。

ABSTRACT

In this paper, we propose a novel dense surfel mapping system that scales well in different environments with only CPU computation. Using a sparse SLAM system to estimate camera poses, the proposed mapping system can fuse intensity images and depth images into a globally consistent model. The system is carefully designed so that it can build from room-scale environments to urban-scale environments using depth images from RGB-D cameras, stereo cameras or even a monocular camera. First, superpixels extracted from both intensity and depth images are used to model surfels in the system. superpixel-based surfels make our method both run-time efficient and memory efficient. Second, surfels are further organized according to the pose graph of the SLAM system to achieve $O(1)$ fusion time regardless of the scale of reconstructed models. Third, a fast map deformation using the optimized pose graph enables the map to achieve global consistency in real-time. The proposed surfel mapping system is compared with other state-of-the-art methods on synthetic datasets. The performances of urban-scale and room-scale reconstruction are demonstrated using the KITTI dataset and autonomous aggressive flights, respectively. The code is available for the benefit of the community.

研究动机与目标

• 实现仅使用CPU计算的实时、全局一致的大型环境密集3D重建。
• 解决在房间级到城市级环境中密集surfel映射的可扩展性与内存效率挑战。
• 在无GPU加速的前提下，支持来自立体相机与单目相机的低质量深度图融合。
• 通过高效的surfel组织与基于姿态图的地图形变，保持实时性能与全局一致性。
• 提供一种鲁棒、通用的映射系统，适用于多种机器人平台与传感器类型。

提出的方法

• 使用从强度图与深度图中提取的抗噪超像素初始化surfel，降低内存占用并提高对噪声深度图的鲁棒性。
• 根据surfel最后一次被观测到的关键帧组织surfel，实现局部融合，且无论模型规模如何，均保持O(1)的融合时间。
• 系统利用稀疏SLAM系统（如ORB-SLAM2）优化后的姿态图，识别局部一致的surfel簇，实现高效融合。
• 通过优化后的姿态图实时执行地图形变，以在回环闭合后纠正漂移，确保全局一致性。
• 该方法支持来自RGB-D相机、立体相机以及单目深度预测网络的深度图融合，实现对不同传感器类型的灵活性支持。
• 运行时效率通过将大部分计算卸载至超像素提取与surfel初始化阶段实现，而surfel融合本身每帧耗时不足6 ms。

实验结果

研究问题

• RQ1 仅使用CPU计算的密集surfel映射系统是否能在城市规模环境中实现实时性能与全局一致性？
• RQ2 在无GPU加速的前提下，surfel映射如何在不同规模模型上保持O(1)的融合时间？
• RQ3 基于超像素的surfel表示能否提升对立体或单目相机低质量深度图的鲁棒性？
• RQ4 基于姿态图的surfel组织与形变在大规模重建中能否有效纠正地图漂移？
• RQ5 该系统能否在保持内存与运行时效率的前提下，无缝支持多种传感器输入（RGB-D、立体、单目）的重建？

主要发现

• 在KITTI里程计序列00上，系统使用立体深度图与ORB-SLAM2实现了10 Hz的实时性能，每帧surfel融合时间低于6 ms。
• 内存使用量仅随环境规模增长，不随运行时间增加；在回环闭合期间，由于surfel复用，内存使用量几乎保持恒定，如KITTI序列中第3000至4000帧所示。
• 该方法成功实现了使用单目深度预测的城市场景重建，是首个无需GPU即可实现单目输入下尺度一致重建的在线密集融合系统。
• 在回环闭合后，地图漂移被实时有效纠正，如街角处结构（如道路与汽车）在形变后实现对齐。
• 与CHISEL相比，所提方法在重复访问时能更准确地重建细小障碍物，使地图适用于自主高速飞行任务。
• 该系统在可扩展性与内存效率方面优于现有方法，在仅使用CPU的前提下保持实时性能，同时支持低质量深度输入的重建。