[论文解读] Towards Generation and Evaluation of Comprehensive Mapping Robot Datasets

Hongyu Chen, Xiting Zhao+9 more|arXiv (Cornell University)|May 23, 2019

Robotics and Sensor-Based Localization参考文献 20被引用 7

一句话总结

该论文提出了一种配备外部跟踪系统的硬件同步映射机器人，结合专业3D扫描仪，生成高精度、可复现的数据集，用于SLAM评估。论文引入了三个数据集——MARS-8、MARS-Loop和MARS-NoLoop，支持2D、3D及视觉SLAM算法的基准测试。结果表明，基于激光的SLAM优于视觉SLAM，且回环闭合显著降低了定位误差。

ABSTRACT

This paper presents a fully hardware synchronized mapping robot with support for a hardware synchronized external tracking system, for super-precise timing and localization. We also employ a professional, static 3D scanner for ground truth map collection. Three datasets are generated to evaluate the performance of mapping algorithms within a room and between rooms. Based on these datasets we generate maps and trajectory data, which is then fed into evaluation algorithms. The mapping and evaluation procedures are made in a very easily reproducible manner for maximum comparability. In the end we can draw a couple of conclusions about the tested SLAM algorithms.

研究动机与目标

• 为解决现有SLAM算法评估中缺乏全面、可复现的基准数据集的问题，特别是在仿真或仅依赖轨迹的评估之外的场景。
• 利用硬件同步传感器与专业3D扫描仪，生成真实世界中具有精确真值定位与地图的数据集。
• 通过标准化的ROS处理流程与公开的评估工具，实现SLAM性能的公平、可重复评估。
• 在有无回环闭合的控制条件下，对比激光基、3D及视觉SLAM算法的性能表现。
• 通过发布数据集、ROS启动文件与评估脚本，为未来基准测试提供基础支持，供社区复用。

提出的方法

• 部署一台Clearpath Jackal机器人，配备九台500万像素广角摄像头、一台水平安装的Velodyne激光雷达与一台垂直安装的Velodyne激光雷达，所有传感器均与Vicon外部跟踪系统实现硬件同步，实现厘米级定位精度。
• 使用Faro Focus 3D扫描仪捕获环境的高分辨率静态真值3D点云，用于地图评估。
• 采集三个独立数据集：MARS-8（短回路）、MARS-Loop（长回路）与MARS-NoLoop（长非回路路径），所有数据集均具有重叠的跟踪系统覆盖范围，便于轨迹对比。
• 利用标准SLAM软件（Hector Mapping、Cartographer、BLAM）从原始传感器数据生成2D与3D地图，ROS启动文件确保完整可复现性。
• 采用Zhang与Scaramuzza（2018）提出的轨迹评估软件，计算估计轨迹与跟踪轨迹之间的绝对平移误差，进行定量评估。
• 通过CloudCompare将机器人生成的点云与Faro真值进行配准，计算RMS误差（0.084 m，理论重叠度达90%），验证地图质量。

实验结果

研究问题

• RQ1 在具有稳定传感器噪声与运动动力学的现实环境中，回环闭合对2D与3D SLAM系统精度的影响如何？
• RQ2 当基于高精度真值地图与轨迹进行评估时，激光基SLAM算法在多大程度上优于视觉SLAM算法？
• RQ3 配备外部跟踪系统与专业3D扫描仪的硬件同步机器人平台，能否生成可复现、高保真的数据集，适用于SLAM系统的基准测试？
• RQ4 在不同回环闭合条件下，各类SLAM算法（Hector Mapping、Cartographer、BLAM、ORB2）在轨迹误差与地图一致性方面的表现如何？
• RQ5 机器人生成的点云与Faro真值之间的地图质量存在多大定量差异？该差异在不同数据集中如何变化？

主要发现

• Hector Mapping在MARS-8与MARS-Loop数据集上实现了约10 cm的平移误差，表明其在回环闭合场景下具有高精度。
• MARS-NoLoop数据集因缺乏回环闭合，误差显著增加，达到约1米，凸显了回环闭合在抑制漂移中的关键作用。
• Cartographer在MARS-Loop数据集中生成了断裂地图，表明2D SLAM在回环未被正确解析时存在不稳定性。
• BLAM生成了高质量的3D地图，准确呈现了MARS-NoLoop中的双帘结构特征，与Faro真值对比的RMS误差为0.084 m。
• 使用单台前向摄像头的ORB2视觉SLAM在MARS-NoLoop数据集中出现跟踪失败，且在所有评估算法中误差最高。
• 基于激光的3D SLAM（BLAM）在轨迹精度与地图一致性方面均优于视觉SLAM（ORB2），证实了激光雷达在复杂室内环境中的鲁棒性。