[论文解读] PointSeg: Real-Time Semantic Segmentation Based on 3D LiDAR Point Cloud

Yuan Wang, Tianyue Shi+3 more|arXiv (Cornell University)|Jul 17, 2018

Remote Sensing and LiDAR Applications参考文献 25被引用 105

一句话总结

PointSeg 将 3D LiDAR 点云转化为密集球面图像，并使用基于 SqueezeNet 的轻量级网络，结合受 Squeeze-and-Excitation 启发的重新加权与扩张多尺度特征，实现单 GPU 实时路面对象语义分割。

ABSTRACT

In this paper, we propose PointSeg, a real-time end-to-end semantic segmentation method for road-objects based on spherical images. We take the spherical image, which is transformed from the 3D LiDAR point clouds, as input of the convolutional neural networks (CNNs) to predict the point-wise semantic map. To make PointSeg applicable on a mobile system, we build the model based on the light-weight network, SqueezeNet, with several improvements. It maintains a good balance between memory cost and prediction performance. Our model is trained on spherical images and label masks projected from the KITTI 3D object detection dataset. Experiments show that PointSeg can achieve competitive accuracy with 90fps on a single GPU 1080ti. which makes it quite compatible for autonomous driving applications.

研究动机与目标

• 以 LiDAR 数据实现实时的道路对象 3D 语义分割的动机。
• 开发一个基于 SqueezeNet 的轻量且准确的网络，适用于嵌入式和车载系统。
• 利用球面投影将稀疏的 3D 点云转换为适用于 CNN 处理的密集 2D 表示。
• 结合注意力样的通道重新加权与多尺度上下文，以提升分割精度。

提出的方法

• 使用方位角与仰角投影，将 LiDAR 点云转换为密集的 64x512x5 球面图像。
• 建立 PointSeg 在一个受 SqueezeNet 与 SqueezeSeg 启发的轻量级 Fire 基骨架上。
• 引入 squeeze 重新加权层，建模类似 SE 块的通道依赖性。
• 采用扩张（扩大）层来捕获多尺度上下文，且不过度下采样。
• 使用基于反卷积的上采样路径并配合跳跃连接，以恢复逐点分割图。
• 将随机抽样一致性（RANSAC）作为后处理来改进反投影的分割结果。

实验结果

研究问题

• RQ1 基于 SqueezeNet 的轻量级 CNN 是否能够在标准 GPU 上实现实时的 3D LiDAR 语义分割？
• RQ2 将 3D LiDAR 点云转换为球面图像是否能够实现有效的逐像素语义标签且精度具有竞争力？
• RQ3 通道重新加权与多尺度扩张上下文是否提升路面对象的分割性能，包括像行人等小物体？
• RQ4 PointSeg 在典型车载硬件（如 GTX 1080Ti、Jetson TX2）上的运行时性能和内存占用是多少？

主要发现

• PointSeg 在单个 GPU 上前向计算实现实时性能，约 90 fps。
• 提出的下采样策略（三次下采样）提升行人和骑车人对象的准确度，同时不牺牲汽车的性能。
• 带扩张卷积的扩大层（率为 6、9、12）在保持内存使用合理的同时提供多尺度上下文。
• Squeeze 重新加权层（SR1–SR3）提升通道特征鲁棒性，特别是对较小对象，重新加权-下降达到最佳平衡。
• RANSAC 后处理提升反投影分割的准确性，相比基础方法有显著提升。
• 与 SqueezeSeg 相比，PointSeg 在汽车和骑车人 IoU 上有所提升，对行人结果具有竞争力，并且在 1080Ti（无 CRF）约 12 ms，每帧；在 TX2 的 PointSeg with RANSAC 约 98 ms。