[论文解读] Unsupervised Feature Learning for Point Cloud by Contrasting and Clustering With Graph Convolutional Neural Network

Ling Zhang, Zhigang Zhu|arXiv (Cornell University)|Apr 28, 2019

3D Shape Modeling and Analysis参考文献 37被引用 5

一句话总结

该论文提出了一种基于图卷积网络（GCNNs）的无监督点云特征学习框架，通过交替执行部件对比和物体聚类来学习语义特征，无需任何标注。通过训练一个ContrastNet来判断两个部件是否属于同一物体，并利用ContrastNet提取的特征训练一个ClusterNet以预测聚类ID，该方法在ModelNet40和ModelNet10上分别取得了86.8%和93.8%的准确率，优于大多数现有无监督方法，并接近监督基线方法的性能。

ABSTRACT

To alleviate the cost of collecting and annotating large-scale point cloud datasets, we propose an unsupervised learning approach to learn features from unlabeled point cloud "3D object" dataset by using part contrasting and object clustering with deep graph neural networks (GNNs). In the contrast learning step, all the samples in the 3D object dataset are cut into two parts and put into a "part" dataset. Then a contrast learning GNN (ContrastNet) is trained to verify whether two randomly sampled parts from the part dataset belong to the same object. In the cluster learning step, the trained ContrastNet is applied to all the samples in the original 3D object dataset to extract features, which are used to group the samples into clusters. Then another GNN for clustering learning (ClusterNet) is trained to predict the cluster ID of all the training samples. The contrasting learning forces the ContrastNet to learn high-level semantic features of objects but probably ignores low-level features, while the ClusterNet improves the quality of learned features by being trained to discover objects that probably belong to the same semantic categories by the use of cluster IDs. We have conducted extensive experiments to evaluate the proposed framework on point cloud classification tasks. The proposed unsupervised learning approach obtained comparable performance to the state-of-the-art unsupervised learning methods that used much more complicated network structures. The code of this work is publicly available via: https://github.com/lingzhang1/ContrastNet.

研究动机与目标

• 减少对昂贵的人工标注3D点云数据的依赖，以支持深度学习训练。
• 开发一种无监督深度学习框架，从未标注的点云中学习语义特征。
• 通过结合对比学习与基于聚类的自监督机制，提升特征质量。
• 在部分点云和遮挡点云数据上评估模型的鲁棒性，以支持实际部署。
• 仅使用自监督预训练任务，实现与监督方法相当的性能。

提出的方法

• 该方法将每个3D物体分割为两部分，构建用于对比学习的‘部件’数据集。
• 基于GCNNs训练一个ContrastNet，用于分类两个随机采样的部件是否属于同一物体。
• 利用训练好的ContrastNet提取的特征，将原始点云物体聚类为语义组。
• 基于GCNNs训练一个ClusterNet，使用对比学习得到的特征为每个点云预测聚类ID。
• 该框架采用两阶段自监督流程：首先进行对比学习，然后通过聚类进行优化。
• 使用线性SVM评估下游分类任务中所学特征的质量。

实验结果

研究问题

• RQ1 部件对比和物体聚类能否作为无监督点云特征学习的有效自监督任务？
• RQ2 所提方法在标准基准测试中与当前最先进的无监督及监督方法相比表现如何？
• RQ3 所学特征能否在现实场景中部分或遮挡的3D数据上实现良好泛化？
• RQ4 结合对比学习与聚类目标是否能提升单目标自监督方法的特征质量？
• RQ5 特征对遮挡或部分视图等数据损坏的鲁棒性如何？

主要发现

• 该方法仅通过无监督预训练和线性SVM，在ModelNet40上实现了86.8%的分类准确率，在ModelNet10上达到93.8%。
• 在两个基准测试中，该方法优于大多数现有无监督方法，仅在ModelNet40上落后于FoldingNet（88.4%），在ModelNet10上落后于Latent-GAN（95.3%）。
• 在部分点云上，ClusterNet的准确率为82.4%；在透视视图上为75.8%，表明对不完整数据具有良好的鲁棒性。
• 完整物体与部分/透视输入之间的性能差距分别为6%和13%，表明完整体素数据能提供更具描述性的特征。
• 无监督的ClusterNet在ModelNet40上达到88.6%的准确率，仅比监督方法DGCNN（92.2%）低3.6%，显示出极佳的特征质量。
• 与基于深度自编码器的竞争方法相比，该方法更简单、更易训练，同时实现了相当或更优的性能。