[论文解读] TartanAir: A Dataset to Push the Limits of Visual SLAM

Wenshan Wang, Delong Zhu+7 more|arXiv (Cornell University)|Mar 31, 2020

Robotics and Sensor-Based Localization参考文献 31被引用 26

一句话总结

TartanAir 是一个大规模、逼真的仿真数据集，旨在通过引入动态物体、可变光照和多样的天气条件，挑战视觉 SLAM 算法。该数据集提供多模态传感器数据和精确的地面真实信息，覆盖多种环境，揭示了当前最先进 SLAM 方法在真实复杂场景下表现不佳，从而推动更鲁棒的真实世界算法发展。

ABSTRACT

We present a challenging dataset, the TartanAir, for robot navigation tasks and more. The data is collected in photo-realistic simulation environments with the presence of moving objects, changing light and various weather conditions. By collecting data in simulations, we are able to obtain multi-modal sensor data and precise ground truth labels such as the stereo RGB image, depth image, segmentation, optical flow, camera poses, and LiDAR point cloud. We set up large numbers of environments with various styles and scenes, covering challenging viewpoints and diverse motion patterns that are difficult to achieve by using physical data collection platforms. In order to enable data collection at such a large scale, we develop an automatic pipeline, including mapping, trajectory sampling, data processing, and data verification. We evaluate the impact of various factors on visual SLAM algorithms using our data. The results of state-of-the-art algorithms reveal that the visual SLAM problem is far from solved. Methods that show good performance on established datasets such as KITTI do not perform well in more difficult scenarios. Although we use the simulation, our goal is to push the limits of Visual SLAM algorithms in the real world by providing a challenging benchmark for testing new methods, while also using a large diverse training data for learning-based methods. Our dataset is available at \url{http://theairlab.org/tartanair-dataset}.

研究动机与目标

• 解决视觉 SLAM 在复杂环境中缺乏多样化、真实且具有挑战性的基准的问题。
• 通过在仿真中实现大规模、可控且可重复的数据生成，克服物理数据采集的局限性。
• 提供高保真度的多模态传感器数据，包括立体 RGB、深度图、语义分割、光流、位姿和 LiDAR，以实现精确评估。
• 在极端条件下（如动态运动、光照不足和恶劣天气）评估视觉 SLAM 算法的鲁棒性。
• 作为基准和训练资源，推动基于学习和传统视觉 SLAM 方法的发展。

提出的方法

• 使用逼真的仿真引擎生成数据集，渲染具有高视觉保真度的多样化室内外环境。
• 通过映射真实世界场景、采样多样化轨迹，并模拟动态智能体和环境变化，自动构建环境。
• 记录包括立体 RGB、深度图、语义分割、光流、相机位姿和 LiDAR 在内的多模态传感器数据，并附带精确的地面真实信息。
• 仿真包含可变光照条件、天气效果（如雨、雾）以及移动物体，以增加场景复杂度。
• 通过数据验证和质量控制流程，确保所有序列生成数据的一致性和准确性。
• 将数据集公开发布，以支持视觉 SLAM 领域的可重现研究和基准测试。

实验结果

研究问题

• RQ1 最先进视觉 SLAM 算法在动态物体和光照变化等极端环境变化下的表现如何？
• RQ2 现有数据集（如 KITTI）在多大程度上未能反映视觉 SLAM 中的真实世界挑战？
• RQ3 具有高保真度和多样性的基于仿真的数据集能否有效作为视觉 SLAM 的训练和基准资源？
• RQ4 在复杂场景中，不同传感器模态（如立体视觉、LiDAR、光流）如何贡献于 SLAM 的鲁棒性？
• RQ5 当前 SLAM 系统在暴露于具有挑战性的运动模式和环境动态时，其关键故障模式是什么？

主要发现

• 在 KITTI 上表现良好的最先进视觉 SLAM 算法，在 TartanAir 更复杂和动态的环境中性能显著下降。
• 动态物体和可变光照条件会大幅降低甚至先进 SLAM 系统的性能，表明仍存在未解决的挑战。
• 仅依赖视觉特征的算法在运动模糊、遮挡和动态场景元素面前表现不佳，凸显多模态融合的必要性。
• 该数据集表明，即使在大规模数据上进行训练，当前 SLAM 流水线对类似真实世界的环境变化仍缺乏鲁棒性。
• 使用高保真度的合成数据可实现有效的泛化和基准测试，证明其在算法开发中的价值。
• 评估框架显示，没有任何现有方法在所有 TartanAir 序列中均达到高精度，证实视觉 SLAM 仍是开放的研究问题。