[论文解读] Zero-shot point cloud segmentation by transferring geometric primitives

Runnan Chen, Xinge Zhu+5 more|arXiv (Cornell University)|Oct 18, 2022

3D Shape Modeling and Analysis被引用 6

一句话总结

本文提出了一种新型框架，用于通过在已见与未见类别之间学习共享的几何基元并利用细粒度、未知感知的对比损失将其与语言对齐，实现归纳零样本点云语义分割。通过将点特征建模为与可学习几何原型的相似性向量，并使用多核语义嵌入，该方法实现了最先进性能，在S3DIS、ScanNet、SemanticKITTI和nuScenes数据集上将调和mIoU提升17.8%至30.4%。

ABSTRACT

We investigate transductive zero-shot point cloud semantic segmentation, where the network is trained on seen objects and able to segment unseen objects. The 3D geometric elements are essential cues to imply a novel 3D object type. However, previous methods neglect the fine-grained relationship between the language and the 3D geometric elements. To this end, we propose a novel framework to learn the geometric primitives shared in seen and unseen categories' objects and employ a fine-grained alignment between language and the learned geometric primitives. Therefore, guided by language, the network recognizes the novel objects represented with geometric primitives. Specifically, we formulate a novel point visual representation, the similarity vector of the point's feature to the learnable prototypes, where the prototypes automatically encode geometric primitives via back-propagation. Besides, we propose a novel Unknown-aware InfoNCE Loss to fine-grained align the visual representation with language. Extensive experiments show that our method significantly outperforms other state-of-the-art methods in the harmonic mean-intersection-over-union (hIoU), with the improvement of 17.8\%, 30.4\%, 9.2\% and 7.9\% on S3DIS, ScanNet, SemanticKITTI and nuScenes datasets, respectively. Codes are available (https://github.com/runnanchen/Zero-Shot-Point-Cloud-Segmentation)

研究动机与目标

• 解决零样本3D点云语义分割的挑战，即模型必须在无标注训练数据的情况下识别未见物体类别。
• 克服先前方法在建模语言语义与3D几何基元之间细粒度关系方面的局限性。
• 通过引入未知感知的InfoNCE损失，减少归纳零样本学习中对已见类别的偏差，提升对未见类别的泛化能力。
• 通过学习在已见与未见类别间共享的解耦几何基元，实现对新物体的鲁棒分割。

提出的方法

• 提出一种新型视觉表征：每个点特征与一组可学习几何原型之间的相似性向量，通过反向传播隐式编码几何基元。
• 使用多核混合分布嵌入建模语言语义，以反映3D物体通常由多个几何基元组成。
• 提出一种未知感知的InfoNCE损失，实现视觉与语义表征之间的对比对齐，同时显式惩罚对未见类别的误分类。
• 在归纳设定下训练网络，利用未见类别在训练期间的无标签特征，以提升零样本泛化能力。
• 使用主干网络（如PointNet++）提取初始点特征，随后进行基于原型的表征学习与对比对齐。
• 通过结合已见类别上的监督损失与在已见和未见点上提出的未知感知InfoNCE损失，端到端优化模型。

实验结果

研究问题

• RQ1 如何有效学习并共享已见与未见3D物体类别之间的几何基元，以实现零样本泛化？
• RQ2 语言语义与几何基元之间细粒度对齐对零样本分割性能有何影响？
• RQ3 一种显式考虑未知（未见）类别的对比损失是否能提升泛化能力并减少对已见类别的偏差？
• RQ4 将语义表征建模为多个核的混合形式，如何提升其与表示复合几何结构的视觉特征之间的对齐效果？

主要发现

• 所提方法在S3DIS数据集上相较之前最先进方法，将调和mIoU绝对提升17.8%。
• 在ScanNet上，方法相较最强基线将调和mIoU提升30.4%，展现出在复杂室内场景中的强大泛化能力。
• 在SemanticKITTI和nuScenes上，方法分别实现9.2%和7.9%的调和mIoU提升，表明在多样化3D感知基准上的鲁棒性。
• 消融研究证实，基于几何基元的视觉表征相较基线特征可将未见类别mIoU提升约5%，且在128个原型时达到最优性能。
• 多核语义表征在K=16时表现最佳，相较单核及其他核数设置，mIoU最高提升达7%。
• 未知感知的InfoNCE损失显著优于伪标签法与自监督一致性损失，通过显式建模不确定性，显著降低对未见类别的误分类。