[论文解读] SSPC-Net: Semi-supervised Semantic 3D Point Cloud Segmentation Network

Mingmei Cheng, Le Hui+2 more|arXiv (Cornell University)|Apr 16, 2021

3D Shape Modeling and Analysis被引用 4

一句话总结

SSPC-Net 是一种半监督 3D 点云分割网络，通过利用少量标注点并为未标注点生成高质量伪标签，显著降低了标注成本。它采用超点图结合动态标签传播机制，并引入超点丢弃策略以优化伪标签，同时通过耦合注意力机制增强特征判别能力，在仅使用 0.01% 标注点的情况下实现了最先进性能。

ABSTRACT

Point cloud semantic segmentation is a crucial task in 3D scene understanding. Existing methods mainly focus on employing a large number of annotated labels for supervised semantic segmentation. Nonetheless, manually labeling such large point clouds for the supervised segmentation task is time-consuming. In order to reduce the number of annotated labels, we propose a semi-supervised semantic point cloud segmentation network, named SSPC-Net, where we train the semantic segmentation network by inferring the labels of unlabeled points from the few annotated 3D points. In our method, we first partition the whole point cloud into superpoints and build superpoint graphs to mine the long-range dependencies in point clouds. Based on the constructed superpoint graph, we then develop a dynamic label propagation method to generate the pseudo labels for the unsupervised superpoints. Particularly, we adopt a superpoint dropout strategy to dynamically select the generated pseudo labels. In order to fully exploit the generated pseudo labels of the unsupervised superpoints, we furthermore propose a coupled attention mechanism for superpoint feature embedding. Finally, we employ the cross-entropy loss to train the semantic segmentation network with the labels of the supervised superpoints and the pseudo labels of the unsupervised superpoints. Experiments on various datasets demonstrate that our semi-supervised segmentation method can achieve better performance than the current semi-supervised segmentation method with fewer annotated 3D points. Our code is available at https://github.com/MMCheng/SSPC-Net.

研究动机与目标

• 为解决大规模 3D 点云语义分割任务中高昂且费力的标注成本问题。
• 通过减少对完全监督数据的依赖，提升半监督 3D 点云分割性能。
• 开发一种方法，利用长距离依赖关系和不确定性感知的优化策略，准确推断未标注点的伪标签。
• 通过联合建模监督超点与扩展（伪标签）超点的耦合注意力机制，增强特征学习能力。

提出的方法

• 该方法利用几何相似性将 3D 点云划分为超点，以降低复杂度并支持基于图的推理。
• 构建超点图，通过门控图神经网络对特征嵌入进行建模，以捕捉超点之间的长距离依赖关系。
• 采用动态标签传播机制，沿图边将标签从监督超点传播至邻近且语义相似的超点。
• 引入超点丢弃策略，在传播过程中剔除低置信度的伪标签超点，以提升标签质量。
• 通过耦合注意力机制交替关注监督超点与扩展超点，增强特征判别能力并降低不确定性。
• 使用真实标签与优化后伪标签的联合交叉熵损失进行网络端到端训练。

实验结果

研究问题

• RQ1 在超点图上进行动态标签传播是否能有效为未标注的 3D 点云区域生成高质量伪标签？
• RQ2 引入超点丢弃策略在半监督 3D 分割中如何提升伪标签的可靠性？
• RQ3 耦合注意力机制在联合建模监督超点与伪标签超点时，能在多大程度上增强特征学习能力？
• RQ4 与现有半监督方法相比，该方法是否能在显著减少标注点数量的情况下实现更优的分割性能？

主要发现

• 仅使用 0.01% 的标注点，SSPC-Net 在 S3DIS 数据集 Area5 上实现了 51.5% 的平均交并比（mIoU），优于当前最先进方法。
• 在 0.01% 监控率下，扩展（伪标签）超点的整体准确率（OA）达到 90.9%，证实了生成伪标签的高质量。
• 消融实验表明，引入动态标签传播和耦合注意力机制分别使 mIoU 提升 3.1 和 4.5 个百分点，验证了其有效性。
• 即使在极低监督率下，模型仍保持强劲性能，仅使用 0.002% 标注点时 mIoU 达 43.0%。
• 动态标签传播的最佳周期为 M=40 个训练轮次，此时模型在标签优化与训练稳定性之间达到最佳平衡。
• 当监督信号稀疏时，扩展超点的比例显著增加，凸显了该方法在低标注预算下对伪标签机制的依赖性及其有效性。