[论文解读] S3CNet: A Sparse Semantic Scene Completion Network for LiDAR Point Clouds

Ran Cheng, Christopher Agia+3 more|arXiv (Cornell University)|Dec 16, 2020

Robotics and Sensor-Based Localization参考文献 36被引用 8

一句话总结

S3CNet 是一种稀疏卷积神经网络，能够联合完成稀疏激光雷达点云的 3D 语义场景补全与语义分割，通过利用几何先验和多视角融合，在 SemanticKITTI 基准上实现了最先进性能。它通过几何感知损失和稀疏张量运算，有效处理大规模室外场景中的稀疏性和遮挡问题，从而超越现有方法。

ABSTRACT

With the increasing reliance of self-driving and similar robotic systems on robust 3D vision, the processing of LiDAR scans with deep convolutional neural networks has become a trend in academia and industry alike. Prior attempts on the challenging Semantic Scene Completion task - which entails the inference of dense 3D structure and associated semantic labels from "sparse" representations - have been, to a degree, successful in small indoor scenes when provided with dense point clouds or dense depth maps often fused with semantic segmentation maps from RGB images. However, the performance of these systems drop drastically when applied to large outdoor scenes characterized by dynamic and exponentially sparser conditions. Likewise, processing of the entire sparse volume becomes infeasible due to memory limitations and workarounds introduce computational inefficiency as practitioners are forced to divide the overall volume into multiple equal segments and infer on each individually, rendering real-time performance impossible. In this work, we formulate a method that subsumes the sparsity of large-scale environments and present S3CNet, a sparse convolution based neural network that predicts the semantically completed scene from a single, unified LiDAR point cloud. We show that our proposed method outperforms all counterparts on the 3D task, achieving state-of-the art results on the SemanticKITTI benchmark. Furthermore, we propose a 2D variant of S3CNet with a multi-view fusion strategy to complement our 3D network, providing robustness to occlusions and extreme sparsity in distant regions. We conduct experiments for the 2D semantic scene completion task and compare the results of our sparse 2D network against several leading LiDAR segmentation models adapted for bird's eye view segmentation on two open-source datasets.

研究动机与目标

• 解决在大型稀疏室外激光雷达扫描中语义场景补全的挑战，因为密集网络受内存和计算资源限制而失效。
• 克服密集 3D 和 2D 卷积网络在自动驾驶场景中处理稀疏性和极端遮挡时的局限性。
• 开发一个统一的、端到端可训练的框架，从单个稀疏激光雷达扫描中联合预测密集 3D 占位图和语义标签。
• 通过 2D 变体结合多视角融合和空间传播，提升对远距离和遮挡区域的鲁棒性。
• 提出一种几何感知损失函数，以增强预测结果中类别的一致性和边界结构。

提出的方法

• 通过 Minkowski Engine 利用稀疏张量运算，高效处理大规模稀疏 3D 激光雷达点云，无需枚举密集体素。
• 引入逐点法向量和基于激光雷达的翻转截断符号距离函数（fTSDF）作为几何特征，以指导补全并区分自由空间、占据空间和遮挡空间。
• 提出一种新颖的几何感知语义分割损失（$\mathcal{L}_{GA}$），鼓励在同质区域中保持一致的预测，并在物体边界处实现结构化输出。
• 采用 S3CNet 的 2D 变体，结合多视角融合（MVF）和空间传播网络（SPN），以增强远距离或遮挡区域的补全性能。
• 应用数据增强技术，包括随机裁剪、丢弃和 3D/2D 旋转，以提升模型泛化能力和鲁棒性。
• 使用 Lovasz-softmax 和焦点损失以优化平均 IoU，消融实验表明在此设置下焦点损失相比加权交叉熵无明显优势。

实验结果

研究问题

• RQ1 稀疏 3D 卷积网络能否在大型室外环境中，从单个稀疏激光雷达扫描中有效完成语义密集 3D 场景补全？
• RQ2 法向量和 fTSDF 等几何先验在稀疏和遮挡区域中如何提升语义补全性能？
• RQ3 多视角融合与空间传播在多大程度上提升了远距离或部分观测区域的补全性能？
• RQ4 与标准语义分割损失相比，所提出的几何感知损失函数在 IoU 和结构一致性方面表现如何？
• RQ5 结合多视角融合的 2D 网络变体能否在 2D 俯视图语义场景补全任务中达到具有竞争力的性能？

主要发现

• S3CNet 在 SemanticKITTI 验证集上实现了 0.3308 的平均 IoU 和 0.5712 的补全 IoU，优于所有先前方法。
• S3CNet 的 2D 变体在 SemanticKITTI 数据集上实现了 0.2789 的平均 IoU 和 0.7032 的补全 IoU，超越了适配的最先进激光雷达分割模型。
• 消融实验表明，移除多视角融合（MVF）模块会使性能退化至基线水平，凸显其在补全任务中的关键作用。
• 空间传播网络（SPN）显著提升了分割平均 IoU，而 MVF 对补全 IoU 的提升更为显著，表明二者具有互补性。
• 几何感知损失（$\mathcal{L}_{GA}$）和 Lovasz-softmax 损失带来了最高的平均 IoU 提升，其中 Lovasz-softmax 表现最为稳定。
• 移除空间特征或 SR/解码模块会导致平均 IoU 和补全 IoU 显著下降，证实其在几何推理和补全中的关键作用。