[论文解读] Weakly Supervised Semantic Segmentation for Large-Scale Point Cloud

Yachao Zhang, Zonghao Li+4 more|arXiv (Cornell University)|Dec 9, 2022

Remote Sensing and LiDAR Applications被引用 8

一句话总结

本文提出了一种用于大规模点云的弱监督语义分割方法，利用自监督点云着色作为先验任务以提升特征表示，并引入基于类别原型的稀疏标签传播机制，以有效传播有限的标注。该方法在仅使用少量标注数据的情况下，在大规模数据集上实现了与全监督方法相当的性能。

ABSTRACT

Existing methods for large-scale point cloud semantic segmentation require expensive, tedious and error-prone manual point-wise annotations. Intuitively, weakly supervised training is a direct solution to reduce the cost of labeling. However, for weakly supervised large-scale point cloud semantic segmentation, too few annotations will inevitably lead to ineffective learning of network. We propose an effective weakly supervised method containing two components to solve the above problem. Firstly, we construct a pretext task, extit{i.e.,} point cloud colorization, with a self-supervised learning to transfer the learned prior knowledge from a large amount of unlabeled point cloud to a weakly supervised network. In this way, the representation capability of the weakly supervised network can be improved by the guidance from a heterogeneous task. Besides, to generate pseudo label for unlabeled data, a sparse label propagation mechanism is proposed with the help of generated class prototypes, which is used to measure the classification confidence of unlabeled point. Our method is evaluated on large-scale point cloud datasets with different scenarios including indoor and outdoor. The experimental results show the large gain against existing weakly supervised and comparable results to fully supervised methods\footnote{Code based on mindspore: https://github.com/dmcv-ecnu/MindSpore\_ModelZoo/tree/main/WS3\_MindSpore}.

研究动机与目标

• 通过仅使用少量标注点来降低全监督大规模点云语义分割的高标注成本。
• 在标注有限的弱监督设置中提升特征表示能力，以克服有效学习的障碍。
• 开发一种高效且可扩展的方法，用于在大规模点云中对未标注点传播伪标签。
• 将无监督预训练中学到的知识迁移到弱监督分割中，以提升性能。

提出的方法

• 设计了一项自监督的先验任务——点云着色，通过颜色空间变换从无标注数据中学习语义表示。
• 引入局部感知正则化项以增强局部特征一致性，与分割目标保持一致。
• 使用着色任务的预训练特征初始化弱监督分割网络，实现知识迁移。
• 提出一种基于类别原型的稀疏标签传播机制，用于衡量分类置信度并高效传播伪标签。
• 传播过程采用非线性加权，随着训练过程中特征表示的提升，其影响逐步增强。
• 采用弱监督交叉熵损失与正则化标签传播损失相结合的方式，端到端训练该方法。

实验结果

研究问题

• RQ1 在无标注点云上进行自监督预训练是否能提升弱监督语义分割中的特征表示？
• RQ2 如何在计算成本不过高的前提下，有效将伪标签传播至大规模点云中的未标注点？
• RQ3 像着色这样的异质先验任务能否传递有用的归纳偏置，从而在极少标注下提升分割性能？
• RQ4 所提方法是否能在大规模数据集上实现接近全监督基线的性能？

主要发现

• 在S3DIS Area 5上，仅使用1%标注点时，该方法达到64.0% mIoU，较基线提升2.7%。
• 在S3DIS上使用10%标注点时，该方法达到64.0% mIoU，接近全监督RandLA-Net的性能（64.8% mIoU）。
• 在Semantic3D（reduced-8）上，使用10%标注点时，该方法达到73.3% mIoU，优于现有弱监督方法。
• 消融实验表明，自监督预训练在1点设置下可将性能提升最高达5.0%，尤其在低样本设置下收益显著。
• 与无传播相比，采用非线性加权的稀疏标签传播在1%标注数据下使mIoU提升2.7%，证明了其有效性。
• 由于标签传播，每轮训练时间仅增加13秒（至280秒），而推理时间与RandLA-Net几乎相同（116秒 vs. 115秒）。