[论文解读] SQN: Weakly-Supervised Semantic Segmentation of Large-Scale 3D Point Clouds with 1000x Fewer Labels.

Qingyong Hu, Bo Yang+5 more|arXiv (Cornell University)|Apr 11, 2021

3D Shape Modeling and Analysis参考文献 22被引用 18

一句话总结

本文提出语义查询网络（SQN），一种弱监督方法，用于大规模3D点云的语义分割，在仅使用全监督方法所需0.1%标注点的情况下实现了最先进性能。通过利用邻近点之间的语义相似性来隐式增强监督信号，SQN将标注工作量减少了1000倍，同时在六个大规模数据集上保持了高精度。

ABSTRACT

We study the problem of labelling effort for semantic segmentation of large-scale 3D point clouds. Existing works usually rely on densely annotated point-level semantic labels to provide supervision for network training. However, in real-world scenarios that contain billions of points, it is impractical and extremely costly to manually annotate every single point. In this paper, we first investigate whether dense 3D labels are truly required for learning meaningful semantic representations. Interestingly, we find that the segmentation performance of existing works only drops slightly given as few as 1% of the annotations. However, beyond this point (e.g. 1 per thousand and below) existing techniques fail catastrophically. To this end, we propose a new weak supervision method to implicitly augment the total amount of available supervision signals, by leveraging the semantic similarity between neighboring points. Extensive experiments demonstrate that the proposed Semantic Query Network (SQN) achieves state-of-the-art performance on six large-scale open datasets under weak supervision schemes, while requiring only 1000x fewer labeled points for training. The code is available at this https URL.

研究动机与目标

• 探究密集点级标注是否真正对有效的3D语义分割是必需的。
• 降低大规模3D点云的标注成本，这些点云可能包含数十亿个点。
• 开发一种弱监督方法，在大幅减少标注需求的同时保持高分割性能。
• 探索邻近点之间的语义相似性是否可作为监督的代理信号，以增强模型学习。

提出的方法

• SQN引入了一种新颖的弱监督范式，利用点云中点之间的局部语义相似性来隐式增强有效监督信号。
• 该方法使用可学习的查询机制，识别并利用点云中语义一致的邻域。
• 它构建了一种对比学习目标，促使语义相似的邻近点在嵌入空间中特征表示彼此接近。
• 网络通过稀疏点级标注与邻近点提供的自监督对比信号相结合的方式端到端训练。
• 该框架设计为可扩展且高效，适用于包含数十亿个点的点云。

实验结果

研究问题

• RQ1 当仅使用标准标注点数的1%时，语义分割性能是否仍能保持？
• RQ2 当标签密度低于1%时，性能下降的临界阈值是多少？
• RQ3 邻近点之间的语义相似性是否可有效用于增强3D分割中的弱监督？
• RQ4 所提出方法在极低标注量下是否实现了弱监督设置下的最先进性能？

主要发现

• SQN在六种大规模3D点云数据集的弱监督设置下实现了最先进性能。
• 即使仅标注0.1%的点，该方法仍能保持高分割精度，标注工作量减少了1000倍。
• 当标签密度低于1%时，性能显著下降，表明现有方法存在一个关键阈值。
• 利用邻近点之间的语义相似性可实现有效的自监督，显著提升模型泛化能力，且仅需极少标注。