[论文解读] SalsaNet: Fast Road and Vehicle Segmentation in LiDAR Point Clouds for Autonomous Driving

Eren Erdal Aksoy, Saimir Baci+1 more|arXiv (Cornell University)|Sep 18, 2019

Remote Sensing and LiDAR Applications被引用 19

一句话总结

SalsaNET 是一种用于 3D LiDAR 点云语义分割的快速、实时深度编码器-解码器网络，通过将数据投影到鸟瞰图（BEV）实现高效的二维卷积处理。它在 KITTI 数据集上使用自动标注的 LiDAR 数据，实现了道路和车辆分割的最先进精度，且对投影方式不敏感，在速度和 IoU 分数上优于先前方法。

ABSTRACT

In this paper, we introduce a deep encoder-decoder network, named SalsaNet, for efficient semantic segmentation of 3D LiDAR point clouds. SalsaNet segments the road, i.e. drivable free-space, and vehicles in the scene by employing the Bird-Eye-View (BEV) image projection of the point cloud. To overcome the lack of annotated point cloud data, in particular for the road segments, we introduce an auto-labeling process which transfers automatically generated labels from the camera to LiDAR. We also explore the role of imagelike projection of LiDAR data in semantic segmentation by comparing BEV with spherical-front-view projection and show that SalsaNet is projection-agnostic. We perform quantitative and qualitative evaluations on the KITTI dataset, which demonstrate that the proposed SalsaNet outperforms other state-of-the-art semantic segmentation networks in terms of accuracy and computation time. Our code and data are publicly available at https://gitlab.com/aksoyeren/salsanet.git.

研究动机与目标

• 开发一种用于自动驾驶中 3D LiDAR 点云的快速、准确且实时的语义分割网络。
• 通过从摄像头到 LiDAR 的跨传感器自动标注流水线，缓解道路区域等标注 LiDAR 数据的稀缺性。
• 评估并比较不同 LiDAR 点云投影方式（BEV 与 SFV）对语义分割性能的影响。
• 设计一种对不同投影格式具有鲁棒性的模型，实现高精度和高推理速度。
• 发布代码和大规模自动标注的 LiDAR 数据集，以支持未来研究。

提出的方法

• SalsaNET 采用编码器-解码器架构，编码器中使用残差块，解码器中通过跳跃连接融合早期和晚期层的特征。
• SalsaNET 的输入是 BEV 投影的 LiDAR 点云，每个通道编码一种统计特征（例如，深度、强度、距离、占用掩码）。
• 网络使用多通道输入表示以保留空间和强度信息，从而在二维网格空间中实现有效的特征学习。
• 一个自动标注流水线利用传感器标定，将语义标签从摄像头图像（道路和车辆）转移到 LiDAR 点云，生成约 11,000 个额外标注样本。
• 模型在 KITTI 数据集上进行训练和评估，并进行了损失加权和通道贡献的消融研究。
• 通过比较 BEV 和球形前视图（SFV）投影的性能，评估投影鲁棒性。

实验结果

研究问题

• RQ1 LiDAR 点云投影方式的选择（BEV 与 SFV）如何影响语义分割的精度和速度？
• RQ2 深度学习模型能否在保持实时推理的同时，实现基于 LiDAR 的道路和车辆分割的最先进性能？
• RQ3 从摄像头数据进行自动标注在多大程度上可以缓解标注 LiDAR 数据的稀缺性？
• RQ4 所提出的网络架构是否对不同输入投影方式具有鲁棒性，从而实现投影无关性？
• RQ5 各个输入通道（例如，x、y、z、强度、距离、掩码）对分割性能有何影响？

主要发现

• SalsaNET 在 KITTI 数据集上使用 BEV 投影实现了 79.71% 的平均交并比（IoU），优于先前的最先进方法。
• 网络在 Tesla V100 GPU 上实现了 160 Hz 的推理速度，显著快于典型 LiDAR 传感器的 10 Hz 采样率。
• SalsaNET 展现出投影无关性能，在 BEV 和 SFV 投影中均保持高精度，而其他模型在 BEV 上表现不佳。
• SFV 投影引入了冗余信息，导致性能下降；例如，添加掩码通道可使 IoU 提高 4.5%，而 x 和 y 坐标分别使精度降低 0.04% 和 0.34%。
• 消融研究显示，损失加权显著影响 IoU，未加权损失使平均 IoU 下降 2.3%。
• 自动标注流水线成功生成了约 11,000 个额外标注的 LiDAR 样本，实现了无需人工标注的稳健训练。