[论文解读] Segmenting 3D Hybrid Scenes via Zero-Shot Learning.

Bo Liu, Shuang Deng+2 more|arXiv (Cornell University)|Jul 1, 2021

3D Shape Modeling and Analysis参考文献 24被引用 4

一句话总结

本文提出 PFNet，一种基于 GAN 的零样本学习框架，通过利用已见类别与未见类别之间的语义关系，为未见的 3D 物体类别合成点特征，从而实现在混合 3D 场景中的精确语义分割。该方法在基于 S3DIS 和 ScanNet 新提出的两个基准上实现了最先进性能，证明了其在零样本 3D 场景理解中的有效性。

ABSTRACT

This work is to tackle the problem of point cloud semantic segmentation for 3D hybrid scenes under the framework of zero-shot learning. Here by hybrid, we mean the scene consists of both seen-class and unseen-class 3D objects, a more general and realistic setting in application. To our knowledge, this problem has not been explored in the literature. To this end, we propose a network to synthesize point features for various classes of objects by leveraging the semantic features of both seen and unseen object classes, called PFNet. The proposed PFNet employs a GAN architecture to synthesize point features, where the semantic relationship between seen-class and unseen-class features is consolidated by adapting a new semantic regularizer, and the synthesized features are used to train a classifier for predicting the labels of the testing 3D scene points. Besides we also introduce two benchmarks for algorithmic evaluation by re-organizing the public S3DIS and ScanNet datasets under six different data splits. Experimental results on the two benchmarks validate our proposed method, and we hope our introduced two benchmarks and methodology could be of help for more research on this new direction.

研究动机与目标

• 解决 3D 混合场景语义分割研究不足的问题，其中场景同时包含已见类别和未见类别物体。
• 实现在真实混合场景环境中对未见 3D 物体类别的零样本泛化。
• 开发一种方法，利用已见类别的语义嵌入为未见类别合成点特征。
• 基于 S3DIS 和 ScanNet 提出两个新的评估基准，包含六个不同的数据划分，以标准化未来的研究。

提出的方法

• 提出 PFNet，一种 GAN 架构，利用已见类别的语义嵌入为未见 3D 物体类别生成合成点特征。
• 引入一种新型语义正则化器，以建模并整合已见类别与未见类别特征之间的语义关系。
• 使用合成特征训练分类器，以在推理过程中预测 3D 场景点的语义标签。
• 将已见类别和未见类别的语义嵌入作为生成器网络的条件输入。
• 利用判别器确保合成点特征的真实感与可区分性。
• 重新组织公开的 S3DIS 和 ScanNet 数据集，划分为六个不同的数据划分，以构建两个新的零样本 3D 分割评估基准。

实验结果

研究问题

• RQ1 零样本学习框架是否能有效泛化到同时包含已见类别和未见类别物体的混合场景中的未见 3D 物体类别？
• RQ2 所提出的语义正则化器在捕捉已见与未见 3D 物体之间跨类别语义关系方面的有效性如何？
• RQ3 合成点特征生成在多大程度上提升了零样本 3D 场景理解中的语义分割准确率？
• RQ4 所提出的基准在不同数据划分下评估零样本 3D 分割模型的鲁棒性如何？

主要发现

• 所提出的 PFNet 在基于 S3DIS 和 ScanNet 新提出的两个基准上实现了最先进性能。
• 语义正则化器的集成显著提升了合成点特征的质量以及下游分割准确率。
• 该方法成功实现了在混合场景中对未见 3D 物体类别的泛化，展示了有效的零样本泛化能力。
• 包含六个数据划分的两个新基准为未来零样本 3D 分割研究提供了标准化且严格的评估协议。