[论文解读] Segway DRIVE Benchmark: Place Recognition and SLAM Data Collected by A Fleet of Delivery Robots

Jianzhu Huai, Yusen Qin+2 more|arXiv (Cornell University)|Jul 8, 2019

Robotics and Sensor-Based Localization参考文献 24被引用 8

一句话总结

本论文介绍了Segway DRIVE基准数据集，这是一个大规模的真实世界数据集，由配送机器人车队在动态室内环境（如办公楼和购物中心）中采集。该数据集配备低成本传感器和高精度激光雷达以生成真实姿态，捕捉了包括动态行人、光照变化和平面运动在内的挑战性场景，支持对SLAM和度量定位识别方法的严格评估，并引入了评估定位频率和异常值率的新性能指标。

ABSTRACT

Visual place recognition and simultaneous localization and mapping (SLAM) have recently begun to be used in real-world autonomous navigation tasks like food delivery. Existing datasets for SLAM research are often not representative of in situ operations, leaving a gap between academic research and real-world deployment. In response, this paper presents the Segway DRIVE benchmark, a novel and challenging dataset suite collected by a fleet of Segway delivery robots. Each robot is equipped with a global-shutter fisheye camera, a consumer-grade IMU synced to the camera on chip, two low-cost wheel encoders, and a removable high-precision lidar for generating reference solutions. As they routinely carry out tasks in office buildings and shopping malls while collecting data, the dataset spanning a year is characterized by planar motions, moving pedestrians in scenes, and changing environment and lighting. Such factors typically pose severe challenges and may lead to failures for SLAM algorithms. Moreover, several metrics are proposed to evaluate metric place recognition algorithms. With these metrics, sample SLAM and metric place recognition methods were evaluated on this benchmark. The first release of our benchmark has hundreds of sequences, covering more than 50 km of indoor floors. More data will be added as the robot fleet continues to operate in real life. The benchmark is available at http://drive.segwayrobotics.com/#/dataset/download.

研究动机与目标

• 为弥合学术SLAM/研究基准与真实世界部署之间的差距，提供代表实际运行条件的数据集。
• 在动态障碍物、光照变化和平面运动等真实挑战下，收集大规模、长期的数据集。
• 提出并验证用于评估度量定位识别的新指标，重点关注定位频率和异常值率。
• 通过基于高精度激光雷达生成的真值姿态，实现SLAM和定位识别算法的可复现基准测试。
• 通过在线发布数据集和评估工具，支持持续研究，供社区使用和扩展。

提出的方法

• 使用配备RealSense视觉-惯性传感器、两个轮式编码器以及可拆卸Hokuyo 2D激光雷达（用于生成真值姿态）的Segway配送机器人车队采集数据。
• 每台机器人记录用于SLAM地图构建的建图序列，并在一年内重复在相同路线上进行定位序列，以捕捉长期环境变化。
• 通过将激光雷达扫描融合到单一参考帧中生成真值姿态，确保轨迹重建的高精度。
• 该基准包含数百个序列，覆盖五个不同地点超过50公里的室内导航。
• 引入了新型评估指标以评估度量定位识别，包括与建图序列相关的PRF（定位识别频率）和异常值率。
• 已在线发布评估脚本和工具，以支持SLAM和定位识别方法的标准化基准测试。

实验结果

研究问题

• RQ1 在真实世界条件下（如动态行人和光照变化）下，最先进的SLAM和度量定位识别方法表现如何？
• RQ2 现有SLAM算法在视觉-惯性系统中出现平面运动和不可观测状态时，其失效或性能退化程度如何？
• RQ3 所提出的指标（PRF和异常值率）能否有效捕捉长期重复导航中视觉定位的可靠性和一致性？
• RQ4 环境变化（如翻新工程和一天中不同时段的光照变化）对定位识别和SLAM系统的鲁棒性有何影响？
• RQ5 在具有高精度真值的大型、长期、真实世界基准上评估时，度量定位识别方法的性能如何？

主要发现

• Segway DRIVE基准数据集包含超过100个序列，覆盖五个室内地点，历时一年，导航总里程超过50公里。
• 该基准捕捉了显著的真实世界挑战，包括动态行人（例如，一个序列中发生624次重新定位）、光照变化和结构变更。
• 所提出的PRF指标显示，定位频率差异显著，部分序列的定位频率低至每米0.009次（例如，2018-11-22_17-33-32），表明失败率极高。
• 异常值率范围为每100米0至6.5个，最高达6.5（序列2018-12-27_15-46-23），凸显了实现鲁棒定位的难度。
• 基于该基准的评估表明，即使最先进的方法在定位一致性方面也表现不佳，尤其在动态内容多和环境变化大的序列中。
• 该基准表明，标准SLAM指标不足以捕捉长期定位的可靠性，验证了所提出频率和异常值感知指标的必要性。