[论文解读] SegNet4D: Efficient Instance-Aware 4D Semantic Segmentation for LiDAR Point Cloud

Neng Wang, Ruibin Guo+6 more|arXiv (Cornell University)|Jun 24, 2024

Advanced Neural Network Applications被引用 4

一句话总结

SegNet4D 提出了一种实时、实例感知的4D LiDAR语义分割框架，将多帧语义分割分解为单帧语义分割和运动物体分割（MOS），采用基于投影的运动特征编码和一种新颖的运动-语义融合模块。其在SemanticKITTI和nuScenes数据集上实现了最先进性能，推理时间仅为67.1ms，是首个实现该任务实时处理的方法。

ABSTRACT

4D LiDAR semantic segmentation, also referred to as multi-scan semantic segmentation, plays a crucial role in enhancing the environmental understanding capabilities of autonomous vehicles or robots. It classifies the semantic category of each LiDAR measurement point and detects whether it is dynamic, a critical ability for tasks like obstacle avoidance and autonomous navigation. Existing approaches often rely on computationally heavy 4D convolutions or recursive networks, which result in poor real-time performance, making them unsuitable for online robotics and autonomous driving applications. In this paper, we introduce SegNet4D, a novel real-time 4D semantic segmentation network offering both efficiency and strong semantic understanding. SegNet4D addresses 4D segmentation as two tasks: single-scan semantic segmentation and moving object segmentation, each tackled by a separate network head. Both results are combined in a motion-semantic fusion module to achieve comprehensive 4D segmentation. Additionally, instance information is extracted from the current scan and exploited for instance-wise segmentation consistency. Our approach surpasses state-of-the-art in both multi-scan semantic segmentation and moving object segmentation while offering greater efficiency, enabling real-time operation. Besides, its effectiveness and efficiency have also been validated on a real-world unmanned ground platform. Our code will be released at https://github.com/nubot-nudt/SegNet4D.

研究动机与目标

• 解决现有4D LiDAR语义分割方法依赖计算量巨大的4D卷积导致实时性能不足的问题。
• 通过将实例级语义信息融入预测流程，提升运动物体分割的准确性。
• 通过将多帧语义分割任务解耦为单帧语义分割和MOS，再结合运动-语义融合，提升多帧语义分割性能。
• 采用基于投影的残差方法实现高效运动特征提取，而非使用4D卷积。
• 设计一种新颖的运动-语义融合模块，显式整合运动与语义预测，以提升分割准确性。

提出的方法

• 该框架将4D语义分割视为两个独立任务：单帧语义分割和运动物体分割（MOS），分别由专用的头部处理。
• 通过连续扫描之间的鸟瞰图（BEV）残差计算提取运动特征，与4D卷积相比显著降低了计算成本。
• 从当前扫描中提取实例级特征并融合进网络，以实现实例感知的分割。
• 设计一种新颖的运动-语义融合模块（MSFM），整合点级语义预测与运动状态，以指导多帧语义分割。
• 采用双头架构并引入优化机制，通过迭代优化提升运动物体预测的准确性。
• 该框架在SemanticKITTI和nuScenes数据集上进行训练与评估，并通过消融实验验证各组件的贡献。

实验结果

研究问题

• RQ1 将4D语义分割分解为单帧语义分割和MOS是否能相比端到端方法提升性能？
• RQ2 基于投影的BEV残差方法是否能以低于4D卷积的计算成本有效提取运动特征？
• RQ3 在MOS和语义分割流程中引入实例级信息是否能提升检测准确性？
• RQ4 专用的运动-语义融合模块是否能优于手动融合语义与运动预测？
• RQ5 是否可能在保持实时推理的同时实现最先进的4D语义分割性能？

主要发现

• SegNet4D在SemanticKITTI基准上实现了最先进性能，多帧语义分割mIoU达到69.0，MOS mIoU达到57.5。
• 在单张NVIDIA RTX 3090 GPU上推理时间仅为67.1ms，优于所有先前方法，是首个实现4D语义分割实时处理的方法。
• 消融实验表明，引入实例信息可提升MOS和语义分割的准确性，验证了实例感知设计的优势。
• 采用独立语义与运动头部的双头架构优于端到端单头预测，证明了任务解耦的优势。
• 运动-语义融合模块（MSFM）在20个稳定模型上均优于手动融合，证明其在整合运动与语义预测方面的有效性。
• 对运动物体预测的迭代优化同时提升了MOS和最终多帧语义分割性能，凸显了迭代优化的价值。