[论文解读] RELLIS-3D Dataset: Data, Benchmarks and Analysis

Peng Jiang, Philip R. Osteen+2 more|arXiv (Cornell University)|Nov 17, 2020

Advanced Neural Network Applications参考文献 35被引用 17

一句话总结

本文介绍了RELLIS-3D，一个大规模多模态数据集，包含13,556个LiDAR扫描和6,235个RGB图像标注，数据源自非铺装环境，可用于3D语义分割模型的基准测试。与城市基准相比，最先进模型在RELLIS-3D上的性能显著下降，凸显了非铺装环境中类别不平衡和非结构化地形带来的挑战。

ABSTRACT

Semantic scene understanding is crucial for robust and safe autonomous navigation, particularly so in off-road environments. Recent deep learning advances for 3D semantic segmentation rely heavily on large sets of training data, however existing autonomy datasets either represent urban environments or lack multimodal off-road data. We fill this gap with RELLIS-3D, a multimodal dataset collected in an off-road environment, which contains annotations for 13,556 LiDAR scans and 6,235 images. The data was collected on the Rellis Campus of Texas A\&M University and presents challenges to existing algorithms related to class imbalance and environmental topography. Additionally, we evaluate the current state-of-the-art deep learning semantic segmentation models on this dataset. Experimental results show that RELLIS-3D presents challenges for algorithms designed for segmentation in urban environments. This novel dataset provides the resources needed by researchers to continue to develop more advanced algorithms and investigate new research directions to enhance autonomous navigation in off-road environments. RELLIS-3D is available at https://github.com/unmannedlab/RELLIS-3D

研究动机与目标

• 解决非铺装自主导航研究中缺乏大规模、多模态数据集的问题。
• 提供同步的原始传感器数据（LiDAR、RGB、立体视觉、GPS/INS），以支持稳健的算法开发。
• 建立包含训练、验证和测试划分的基准，用于评估语义分割模型。
• 研究最先进模型在非铺装数据上性能下降的原因，包括类别不平衡和地形复杂性。
• 为未来在语义理解、传感器融合以及更高阶语义标签（如可通行性）方面的研究提供支持。

提出的方法

• 使用配备RGB相机、LiDAR、立体深度传感器、GPS/INS和IMU的Warthog机器人平台，在德克萨斯A&M大学Rellis校区采集同步的多模态数据。
• 为5个不同序列中的6,235张RGB图像生成像素级语义标注，为13,556个LiDAR点云生成点级语义标签。
• 定义标准化的训练、验证和测试划分，以实现语义分割模型的可复现基准测试。
• 采用mIoU作为主要指标，评估最先进模型（SalsaNext和KPConv）在图像和点云语义分割任务上的表现。
• 分析由于类别不平衡和地形不规则性导致的模型性能下降，尤其在基于LiDAR的分割中表现明显。
• 通过实证表明，多模态融合的重要性：单次扫描的LiDAR常无法检测到仅在多扫描拼接中可见的物体（如被灌木遮挡的围栏）。

Figure 1: Warthog Platform Configuration. Illustration of the dimensions and mounting positions of the sensors with respect to the robot body. (Units: cm)

实验结果

研究问题

• RQ1 当前最先进3D语义分割模型在具有复杂地形和类别不平衡的大规模、多模态非铺装数据集上的表现如何？
• RQ2 非铺装环境中类别不平衡在多大程度上导致基于LiDAR的深度学习模型性能下降？
• RQ3 由于纹理和色彩特征更丰富，基于图像的模型是否能在非铺装数据上优于基于点云的模型？
• RQ4 多模态融合（尤其是结合RGB与多扫描LiDAR）在检测语义重要但视觉或几何特征细微的物体（如围栏）方面有多大的提升作用？
• RQ5 从城市数据集训练的模型迁移到非结构化、非铺装环境时，面临哪些关键挑战？

主要发现

• SalsaNext在RELLIS-3D的LiDAR分割任务中达到43.07%的mIoU，相比其在SemanticKITTI上的59.5%显著下降，表明在非铺装环境中性能明显退化。
• KPConv在RELLIS-3D上的mIoU仅为19.07%，远低于其在SemanticKITTI上的58.8%，凸显了类别不平衡和非结构化地形带来的严重挑战。
• 基于图像的模型表现优于基于点云的模型，因其具有更密集、更丰富的视觉特征，RGB语义分割的准确率高于基于LiDAR的方法。
• 单次LiDAR扫描常无法检测到被灌木遮挡的围栏等物体，但通过多扫描拼接可成功识别，证明了时间域融合的价值。
• KPConv中基于标签分布的采样策略仅将mIoU提升0.6%，表明现有采样策略不足以缓解非铺装数据中极端类别不平衡问题。
• 该数据集揭示了当前语义标签缺乏可通行性、坡度方向等更高阶语义概念，提示未来工作需扩展本体定义。

Figure 2: Ground truth annotations examples provided in the RELLIS-3D dataset. Images are densely annotated with pixel-wise labels from 20 different visual classes. LiDAR scans are point-wise labeled with the same ontogloy.