[论文解读] Small but Mighty: Enhancing 3D Point Clouds Semantic Segmentation with U-Next Framework

Ziyin Zeng, Qingyong Hu+3 more|arXiv (Cornell University)|Apr 3, 2023

3D Shape Modeling and Analysis参考文献 83被引用 4

一句话总结

本文提出U-Next，一种新颖的轻量化3D点云语义分割框架，通过嵌套式、密集连接的方式堆叠多个U-Net $L^1$子网络，以最小化语义鸿沟，增强特征学习。通过融合多尺度特征并应用多级深度监督，U-Next在S3DIS、Toronto3D和SensatUrban数据集上取得最先进性能，在S3DIS Area 5上达到68.3%的mIoU，相较于U-Net和U-Net++展现出一致的性能提升。

ABSTRACT

We study the problem of semantic segmentation of large-scale 3D point clouds. In recent years, significant research efforts have been directed toward local feature aggregation, improved loss functions and sampling strategies. While the fundamental framework of point cloud semantic segmentation has been largely overlooked, with most existing approaches rely on the U-Net architecture by default. In this paper, we propose U-Next, a small but mighty framework designed for point cloud semantic segmentation. The key to this framework is to learn multi-scale hierarchical representations from semantically similar feature maps. Specifically, we build our U-Next by stacking multiple U-Net $L^1$ codecs in a nested and densely arranged manner to minimize the semantic gap, while simultaneously fusing the feature maps across scales to effectively recover the fine-grained details. We also devised a multi-level deep supervision mechanism to further smooth gradient propagation and facilitate network optimization. Extensive experiments conducted on three large-scale benchmarks including S3DIS, Toronto3D, and SensatUrban demonstrate the superiority and the effectiveness of the proposed U-Next architecture. Our U-Next architecture shows consistent and visible performance improvements across different tasks and baseline models, indicating its great potential to serve as a general framework for future research.

研究动机与目标

• 为解决现有基于U-Net的框架在3D点云分割中的局限性，特别是编码器与解码器特征之间的语义鸿沟问题。
• 减少标准U-Net架构中因激进下采样与上采样导致的噪声累积。
• 通过最小化跨尺度的语义差异，改善特征融合与优化。
• 开发一种通用、高效且轻量化的框架，适用于大规模3D点云分割。

提出的方法

• U-Next通过堆叠多个仅执行一次下采样与一次上采样操作的U-Net $L^1$子网络构建，以最小化语义鸿沟与噪声。
• 该框架采用嵌套式、密集排列的架构，实现在多尺度上的重复、分层特征融合。
• 在每个解码器节点应用多级深度监督，以稳定训练并改善梯度流动。
• 在每个$L^1$子网络的对应编码器与解码器层之间使用长跳跃连接，以保持空间与语义一致性。
• 通过拼接与卷积操作，融合来自不同尺度的特征图，以恢复细粒度细节。
• 架构避免使用密集跳跃连接，以降低过拟合与计算成本，优先采用更简单但高效的长跳跃连接。

Figure 1 : Performance of various algorithms on S3DIS dataset (Area 5) with different frameworks. Our U-Next framework demonstrated a notable advantage over both U-Net and U-Net++.

实验结果

研究问题

• RQ1 能否通过有效堆叠简化版的U-Net $L^1$子网络来提升3D点云语义分割性能？
• RQ2 最小化编码器与解码器特征之间的语义鸿沟，是否能带来优于标准U-Net或U-Net++的性能表现？
• RQ3 多级深度监督与全分辨率监督或侧向监督相比，在优化3D分割网络时表现如何？
• RQ4 所提出的嵌套式、分层融合机制是否比密集跳跃连接在3D点云分割中更具有效性？
• RQ5 U-Next能否在S3DIS、Toronto3D和SensatUrban等多样化的大型3D基准数据集上实现良好泛化？

主要发现

• U-Next在S3DIS Area 5上达到68.3%的mIoU，优于基线RandLA-Net，并在U-Net与U-Net++上持续取得性能提升。
• 消融实验表明，多级深度监督的性能优于仅使用全分辨率或侧向监督。
• U-Next中使用长跳跃连接可实现与密集跳跃连接相当的性能，但参数更少，过拟合风险更低。
• 在S3DIS、Toronto3D和SensatUrban上的可视化对比显示，U-Next生成的边界更清晰、更准确，且能更好处理栏杆、人行横道与铁路等复杂结构。
• U-Next在点云密度与物体分布各异的数据集上展现出强鲁棒性与泛化能力。
• 该框架在无需复杂架构的情况下实现最先进性能，证明最小语义鸿沟与高效特征融合是实现高精度的关键。

Figure 2 : Illustration of the proposed U-Next and U-Net $L^{1}$ . (A) The detailed architecture of the proposed U-Next. (B) The U-Net $L^{1}$ sub-network with deep supervision. FC: Fully Connected layer; DP: Dropout; Deep Sup.: Deep Supervision.