[论文解读] Unsupervised Representation Learning for 3D Point Cloud Data.

Jincen Jiang, Xuequan Lu+2 more|arXiv (Cornell University)|Oct 13, 2021

3D Shape Modeling and Analysis参考文献 53被引用 8

一句话总结

本文提出了一种简单但高效的无监督对比表示学习方法，通过几何变换生成正样本对，使用共享编码器和头网络结合对比损失，以最大化表示一致性。该方法在3D物体分类和语义分割任务上达到最先进性能，在ModelNet40和S3DIS等基准上与或超越了监督方法的表现。

ABSTRACT

Though a number of point cloud learning methods have been proposed to handle unordered points, most of them are supervised and require labels for training. By contrast, unsupervised learning of point cloud data has received much less attention to date. In this paper, we propose a simple yet effective approach for unsupervised point cloud learning. In particular, we identify a very useful transformation which generates a good contrastive version of an original point cloud. They make up a pair. After going through a shared encoder and a shared head network, the consistency between the output representations are maximized with introducing two variants of contrastive losses to respectively facilitate downstream classification and segmentation. To demonstrate the efficacy of our method, we conduct experiments on three downstream tasks which are 3D object classification (on ModelNet40 and ModelNet10), shape part segmentation (on ShapeNet Part dataset) as well as scene segmentation (on S3DIS). Comprehensive results show that our unsupervised contrastive representation learning enables impressive outcomes in object classification and semantic segmentation. It generally outperforms current unsupervised methods, and even achieves comparable performance to supervised methods. Our source codes will be made publicly available.

研究动机与目标

• 解决3D点云数据缺乏无监督表示学习方法的问题。
• 开发一种自监督方法，消除3D点云学习中对标注数据的需求。
• 仅使用无标签数据提升3D分类和分割任务的下游性能。
• 探索有效的数据增强策略，以生成对比学习中有意义的正样本对。

提出的方法

• 对原始点云应用几何变换，以生成对比学习的正样本对。
• 使用共享编码器网络处理原始点云和变换后的点云，生成共享表示。
• 使用共享头网络从两种视图的编码特征中生成最终嵌入表示。
• 引入两种对比损失变体：一种用于分类任务，另一种用于分割任务。
• 通过最大化正样本对表示之间的一致性，学习鲁棒特征。
• 该方法以端到端无监督方式训练，无需任何标注信息。

实验结果

研究问题

• RQ1 简单的数据增强策略能否生成有效的正样本对，用于无监督3D点云表示学习？
• RQ2 与监督方法相比，无监督对比学习在3D物体分类任务上的表现如何？
• RQ3 所提出方法在3D语义分割任务上的泛化能力如何？
• RQ4 所学表示能否在下游任务上达到与监督预训练相当的性能？

主要发现

• 所提方法在无监督设置下于ModelNet40和ModelNet10基准上实现了3D物体分类的最先进性能。
• 在ShapeNet Part数据集上的形状部件分割任务中，优于现有无监督方法。
• 在场景分割任务上取得具有竞争力的结果，在S3DIS数据集上与监督方法表现相当。
• 结合几何数据增强的对比学习显著提升了无标签情况下的特征表示质量。
• 该方法在多种3D学习任务（包括分类和分割）中表现出良好的泛化能力。
• 源代码将公开发布，以支持可复现性与进一步研究。