[论文解读] Weakly Supervised Semantic Point Cloud Segmentation:Towards 10X Fewer Labels

Xun Xu, Gim Hee Lee|arXiv (Cornell University)|Apr 8, 2020

3D Shape Modeling and Analysis参考文献 35被引用 29

一句话总结

本文提出了一种弱监督深度学习框架，用于3D点云语义分割，在仅使用10%标注点的情况下，性能可与全监督方法相媲美。通过利用梯度近似、非精确监督、Siamese自监督以及空间/颜色平滑性约束，该方法将标注成本降低10倍，同时在三个公开数据集上保持了高精度。

ABSTRACT

Point cloud analysis has received much attention recently; and segmentation is one of the most important tasks. The success of existing approaches is attributed to deep network design and large amount of labelled training data, where the latter is assumed to be always available. However, obtaining 3d point cloud segmentation labels is often very costly in practice. In this work, we propose a weakly supervised point cloud segmentation approach which requires only a tiny fraction of points to be labelled in the training stage. This is made possible by learning gradient approximation and exploitation of additional spatial and color smoothness constraints. Experiments are done on three public datasets with different degrees of weak supervision. In particular, our proposed method can produce results that are close to and sometimes even better than its fully supervised counterpart with 10$ imes$ fewer labels.

研究动机与目标

• 为解决3D点云分割数据标注成本过高的问题，减少所需标注点的数量。
• 探究深度学习模型是否仅使用少量标注点即可实现具有竞争力的性能。
• 开发一种弱监督框架，在监督信息极少的情况下仍能保持高分割精度。
• 在固定标注预算下，为最优标注策略提供理论洞见。

提出的方法

• 该方法使用一个不完整监督分支，仅在标注点上应用softmax交叉熵损失，并将梯度视为完整梯度的采样近似。
• 非精确监督分支应用一种受多实例学习启发的样本级交叉熵损失，以抑制负类别激活。
• Siamese自监督分支通过随机平面内旋转和翻转，强制原始点云与增强点云预测之间的一致性。
• 空间与颜色平滑性约束鼓励颜色相近的相邻点具有一致的预测结果，该约束在训练和推理阶段均应用。
• 推理阶段的标签传播通过图上的软约束优化实现，进一步利用空间与颜色连续性来优化预测。
• 该框架兼容多种主干编码器，包括PointNet和DGCNN，展现出在不同架构上的泛化能力。

实验结果

研究问题

• RQ1 深度神经网络在点云分割任务中，是否仅使用10%的标注点即可实现具有竞争力的性能？
• RQ2 从稀疏标注中获得的梯度近似如何收敛至真实梯度？其收敛过程的统计特性是什么？
• RQ3 在固定标注预算下，最优标注策略是什么——即对更多样本进行广泛标注，还是对更少样本进行密集标注？
• RQ4 在弱监督设置下，自监督与平滑性等额外约束如何提升模型泛化能力？

主要发现

• 当仅标注10%的点时，该方法的分割性能可与全监督模型相媲美，标注成本降低10倍。
• 在ShapeNet、PartNet和S3DIS数据集上，模型在10%标注率下mIoU值与全监督结果相差不超过2%，其中S3DIS在10%标注率下达到44.5 mIoU。
• 消融实验表明，所有提出的损失函数——尤其是Siamese自监督和平滑性约束——对性能有显著贡献，且推理阶段的标签传播进一步提升了性能。
• 理论分析表明，稀疏标注的梯度在分布上收敛至真实梯度，其方差与标注点数量成反比。
• 在固定标注预算下，对更多样本进行广泛标注（每样本标注点更少）优于对更少样本进行密集标注。