[论文解读] S3E: A Multi-Robot Multimodal Dataset for Collaborative SLAM

Dapeng Feng, Yu-Hua Qi+6 more|arXiv (Cornell University)|Oct 25, 2022

Robotics and Sensor-Based LocalizationEngineering被引用 17

一句话总结

S3E 引入了一个大规模、多模态的数据集，用于协同 SLAM，由三辆配备 LiDAR、双目相机和 IMU 的无人地面车辆（UGV）在 12 个多样化室内外场景中采集。该数据集支持在真实世界的机器人间回环检测场景下评估协同 SLAM 系统，揭示了当前最先进方法在低重叠率和退化环境下的表现仍不理想，凸显了提升真实世界多机器人系统鲁棒性的迫切需求。

ABSTRACT

The burgeoning demand for collaborative robotic systems to execute complex tasks collectively has intensified the research community's focus on advancing simultaneous localization and mapping (SLAM) in a cooperative context. Despite this interest, the scalability and diversity of existing datasets for collaborative trajectories remain limited, especially in scenarios with constrained perspectives where the generalization capabilities of Collaborative SLAM (C-SLAM) are critical for the feasibility of multi-agent missions. Addressing this gap, we introduce S3E, an expansive multimodal dataset. Captured by a fleet of unmanned ground vehicles traversing four distinct collaborative trajectory paradigms, S3E encompasses 13 outdoor and 5 indoor sequences. These sequences feature meticulously synchronized and spatially calibrated data streams, including 360-degree LiDAR point cloud, high-resolution stereo imagery, high-frequency inertial measurement units (IMU), and Ultra-wideband (UWB) relative observations. Our dataset not only surpasses previous efforts in scale, scene diversity, and data intricacy but also provides a thorough analysis and benchmarks for both collaborative and individual SLAM methodologies. For access to the dataset and the latest information, please visit our repository at https://pengyu-team.github.io/S3E.

研究动机与目标

• 解决当前缺乏大规模、真实世界、多模态协同 SLAM（C-SLAM）数据集的问题，以支持系统性基准测试和可复现性。
• 通过在多样化室内外环境中，从多个智能体同步采集长时间、时间同步且空间标定的数据，克服现有数据集的局限性。
• 设计四种不同的协同轨迹范式，系统评估在不同空间和时间重叠程度下的机器人间回环检测性能。
• 利用 RTK GNSS 和运动捕捉系统提供真实轨迹，以实现对状态估计精度的准确评估。
• 基于最先进算法，在多种传感器模态下建立单智能体和协同 SLAM 的基线性能。

提出的方法

• 部署由三辆遥控无人地面车辆（UGVs）组成的车队，配备 16 束 LiDAR、双目相机、九轴 IMU 和双天线 RTK GNSS，实现高精度定位。
• 采集了 12 个序列（7 个室外、5 个室内），每个序列持续时间超过 200 秒，所有传感器均实现完全时间同步和空间标定。
• 设计四种协同轨迹范式，以诱发不同程度的机器人内与机器人间回环检测机会，包括同心圆、交叉曲线、开放集退化环境，以及有限重叠的同向运动。
• 通过双天线 RTK GNSS（在 GNSS 可用区域）和运动捕捉系统（用于室内序列）生成真实轨迹，确保厘米级精度。
• 采用基于相似变换的 ATE（绝对轨迹误差）计算方法评估轨迹精度，使用最小二乘法对齐预测轨迹与真实轨迹。
• 在不同传感器模态和轨迹类型下，评估最先进 C-SLAM 和单智能体 SLAM 方法（如 LIO-SAM、DCL-SLAM、COVINS、DiSCo-SLAM、LVI-SAM、ORB-SLAM3）的性能。

实验结果

研究问题

• RQ1 在具有不同机器人轨迹重叠程度的真实世界、大规模、多模态、长时间多机器人场景下，现有协同 SLAM 方法的性能如何？
• RQ2 在视觉或 LiDAR 重叠率有限的挑战性环境中，协同 SLAM 相较于单智能体 SLAM 在定位精度和鲁棒性方面提升了多少？
• RQ3 当机器人间回环检测稀疏或发生在退化几何构型下时，当前 C-SLAM 系统的主要失效模式是什么？
• RQ4 传感器模态（LiDAR、视觉、惯性）如何影响真实部署中协同 SLAM 的性能与可靠性？
• RQ5 轨迹设计——尤其是时间与空间多样性——在实现有效机器人间回环检测和后端优化中起到什么作用？

主要发现

• S3E 数据集包含 12 个序列（7 个室外、5 个室内），每个序列持续时间超过 200 秒，平均录制时长比开创性数据集 EuRoC 长 4 倍。
• 在长期跟踪中，基于 LiDAR 的 SLAM 方法始终优于基于视觉的方法，尤其在拐角或低纹理场景中，视觉特征丢失时表现更优。
• 与单智能体版本（LIO-SAM）相比，DCL-SLAM 将平均 ATE 降低了 0.42，证明了通过机器人间回环检测可显著提升性能。
• 在 Playground_1 序列中，仅使用单智能体 LIO-SAM 时，Alpha 和 Bob 均因拐弯而丢失帧，但在通过 DCL-SLAM 协作后成功恢复，凸显了协作带来的鲁棒性增益。
• 在 Square_1 序列中，COVINS 相较其单智能体版本将平均 ATE 降低了 7.09，协作状态下达到 1.75 ATE；而 ORB-SLAM3 在相同场景中完全丢失跟踪。
• 在低重叠率场景下，DCL-SLAM 表现优于 COVINS，尤其在同向运动的末端区域，得益于在稀疏重叠条件下更有效的特征匹配与回环检测。