[论文解读] RIU-Net: Embarrassingly simple semantic segmentation of 3D LiDAR point cloud

Pierre Biasutti, Aurélie Bugeau+2 more|arXiv (Cornell University)|May 21, 2019

Advanced Neural Network Applications参考文献 21被引用 19

一句话总结

RIU-Net 通过将 3D LiDAR 点云转换为 2D 范围图像并应用 U-Net 架构，提出了一种简单而有效的 3D LiDAR 点云语义分割方法，在单张 GPU 上实现了 90 FPS 的实时推理，在 KITTI 数据集上达到了最先进性能。

ABSTRACT

This paper proposes RIU-Net (for Range-Image U-Net), the adaptation of a popular semantic segmentation network for the semantic segmentation of a 3D LiDAR point cloud. The point cloud is turned into a 2D range-image by exploiting the topology of the sensor. This image is then used as input to a U-net. This architecture has already proved its efficiency for the task of semantic segmentation of medical images. We demonstrate how it can also be used for the accurate semantic segmentation of a 3D LiDAR point cloud and how it represents a valid bridge between image processing and 3D point cloud processing. Our model is trained on range-images built from KITTI 3D object detection dataset. Experiments show that RIU-Net, despite being very simple, offers results that are comparable to the state-of-the-art of range-image based methods. Finally, we demonstrate that this architecture is able to operate at 90fps on a single GPU, which enables deployment for real-time segmentation.

研究动机与目标

• 通过将经过验证的 2D 语义分割模型适配到 3D LiDAR 数据，弥合 2D 图像处理与 3D 点云分割之间的差距。
• 解决传统手工设计特征流水线在 LiDAR 点云分割中计算成本高且调参复杂的挑战。
• 证明当将简单、现成的深度学习架构（U-Net）应用于 3D LiDAR 数据的范围图像表示时，可取得具有竞争力的结果。
• 通过确保高帧率，使模型能够实现实时推理，从而为自动驾驶系统提供支持。

提出的方法

• 利用传感器的球面拓扑结构，将 3D LiDAR 点云转换为 2D 范围图像，以保留空间关系。
• 在范围图像输入上应用 U-Net 架构——一种带有跳跃连接的对称编码器-解码器结构，实现像素级语义分割。
• 使用交叉熵损失函数进行端到端训练，配合批量归一化和 Adam 优化。
• 利用跳跃连接在上采样过程中保留空间细节，从而提升物体边界处的分割精度。
• 在 KITTI 3D 目标检测数据集上进行训练，采用标准的 8057/2791 训练/验证集划分，批量大小为 8，训练 10 个周期。
• 通过对应范围图像像素坐标，将最终的分割结果映射回原始 3D 点云，分配标签。

实验结果

研究问题

• RQ1 原本为 2D 医学图像设计的标准 U-Net 架构，能否通过范围图像表示有效适配到 3D LiDAR 点云语义分割任务？
• RQ2 与最先进的基于范围图像的方法相比，该简单适配方法在 IoU 和推理速度方面的性能如何？
• RQ3 该架构的简洁性在多大程度上影响了分割精度，特别是在稀有或小尺寸物体（如骑行人）上的表现？
• RQ4 该模型能否在消费级硬件上实现实时推理，同时不牺牲分割质量？

主要发现

• RIU-Net 在 KITTI 数据集上实现了 40.6% 的平均 IoU，优于 PointSeg（39.8%）和 SqueezeSeg（37.2%），且在最佳表现类别上与 SqueezeSegv2（44.9%）持平。
• 该模型在骑行人类别上取得了最高的 IoU（36.8%），超过 SqueezeSegv2（33.6%），表明其在小尺寸和具有挑战性的物体类别上具有出色的泛化能力。
• 尽管架构简单，RIU-Net 仍表现出具有竞争力的性能，表明在 3D 分割任务中，架构创新并非实现高精度的必要条件。
• 该模型在单张 GPU 上运行速度达到 90 FPS，支持自动驾驶系统的实时部署。
• 该方法提供了视觉上准确的分割结果，定性分析显示在 2D 范围图像和 3D 点云中均与真实标签高度一致。
• 结果表明，U-Net 的跳跃连接和特征融合机制在保留 LiDAR 数据中的细粒度空间细节方面极为有效。