[论文解读] One Thing One Click: A Self-Training Approach for Weakly Supervised 3D Semantic Segmentation

Zhengzhe Liu, Xiaojuan Qi+1 more|arXiv (Cornell University)|Apr 6, 2021

3D Shape Modeling and Analysis参考文献 55被引用 12

一句话总结

本文提出了一种弱监督3D语义分割的自训练框架，仅需每类物体一个标注点——即'One Thing One Click'——即可实现与全监督方法相当的性能，且仅使用0.02%的标注数据。该方法利用基于关系网络的图传播模块进行相似性学习，并通过记忆库迭代优化伪标签，显著降低标注成本，同时在ScanNet-v2和S3DIS数据集上保持高精度。

ABSTRACT

Point cloud semantic segmentation often requires largescale annotated training data, but clearly, point-wise labels are too tedious to prepare. While some recent methods propose to train a 3D network with small percentages of point labels, we take the approach to an extreme and propose "One Thing One Click," meaning that the annotator only needs to label one point per object. To leverage these extremely sparse labels in network training, we design a novel self-training approach, in which we iteratively conduct the training and label propagation, facilitated by a graph propagation module. Also, we adopt a relation network to generate per-category prototype and explicitly model the similarity among graph nodes to generate pseudo labels to guide the iterative training. Experimental results on both ScanNet-v2 and S3DIS show that our self-training approach, with extremely-sparse annotations, outperforms all existing weakly supervised methods for 3D semantic segmentation by a large margin, and our results are also comparable to those of the fully supervised counterparts.

研究动机与目标

• 通过每类物体仅需一个标注点，大幅降低3D语义分割中的标注负担。
• 解决从极稀疏、弱监督标注中训练鲁棒模型的挑战。
• 开发一种自训练框架，通过基于图的标签传播迭代提升伪标签质量。
• 在极小人工参与下实现高性能3D分割，接近全监督性能。

提出的方法

• 该方法采用'One Thing One Click'标注方案，即每类物体仅标注一个点，将每个ScanNet-v2场景的标注时间缩短至2分钟以内。
• 使用3D U-Net主干网络进行初始语义预测，随后通过伪标签优化实现迭代自训练。
• 基于超体素的图传播模块利用学习到的节点相似性，将伪标签在点云中传播。
• 关系网络利用3D特征学习超体素之间的高层几何相似性，提升标签传播精度，超越手工设计特征。
• 记忆库维护类别相关的原型，以稳定相似性学习，尤其对罕见或低频类别具有重要作用。
• 该框架在训练和推理阶段均集成图传播与关系网络，实现伪标签的端到端迭代优化。

实验结果

研究问题

• RQ1 仅使用每类物体一个标注点，能否在3D语义分割中实现接近全监督的性能？
• RQ2 在极弱监督和高几何复杂度的3D点云中，如何有效传播伪标签？
• RQ3 关系网络能否在3D超体素之间实现超越手工特征（如坐标和颜色）的相似性学习？
• RQ4 记忆库在弱监督3D分割中对稀有类别原型学习的稳定性起何作用？
• RQ5 结合图传播的迭代自训练是否能显著优于现有弱监督方法，即使在更高标注预算下？

主要发现

• 所提方法在ScanNet-v2验证集上达到70.45的mIoU，尽管仅使用0.02%的点标注，仍优于所有现有弱监督方法。
• 仅凭每类一个标签，该方法显著超越以往弱监督方法，包括那些使用远多于此的标注量的方法。
• 消融实验证实，自训练、图传播、关系网络和记忆库各组件均对性能提升有贡献，完整模型达到最高mIoU。
• 记忆库对低资源类别原型的稳定性至关重要，若移除该模块，性能下降程度与不使用关系网络相当。
• 该方法性能可与全监督基线方法相媲美，表明在有效自训练的配合下，极端标注效率不会损害模型泛化能力。