[论文解读] Unsupervised Point Cloud Pre-Training via Occlusion Completion

Hanchen Wang, Qi Liu+3 more|arXiv (Cornell University)|Oct 2, 2020

3D Shape Modeling and Analysis参考文献 57被引用 16

一句话总结

本文提出Occlusion Completion（OcCo），一种用于点云的无监督预训练方法，通过模拟相机视角对遮挡点进行掩码，并训练编码器-解码器模型以重建这些点。在单一数据集（ModelNet40）上进行预训练，显著提升了多种下游任务（包括物体分类、部件分割和语义分割）的性能，其准确率、样本效率和特征质量均优于以往的自监督方法。

ABSTRACT

We describe a simple pre-training approach for point clouds. It works in three steps: 1. Mask all points occluded in a camera view; 2. Learn an encoder-decoder model to reconstruct the occluded points; 3. Use the encoder weights as initialisation for downstream point cloud tasks. We find that even when we construct a single pre-training dataset (from ModelNet40), this pre-training method improves accuracy across different datasets and encoders, on a wide range of downstream tasks. Specifically, we show that our method outperforms previous pre-training methods in object classification, and both part-based and semantic segmentation tasks. We study the pre-trained features and find that they lead to wide downstream minima, have high transformation invariance, and have activations that are highly correlated with part labels. Code and data are available at: https://github.com/hansen7/OcCo

研究动机与目标

• 通过开发一种利用大规模未标注点云库的无监督预训练方法，解决3D点云数据标注稀缺的问题。
• 克服现有自监督方法依赖排列或几何不变性目标的局限性，这些方法可能难以泛化到真实世界中的点云结构。
• 设计一种基于遮挡与补全的预训练目标，以实现对空间和语义理解的建模，模拟真实世界中的感知挑战。
• 证明在单一物体级数据集（ModelNet40）上进行预训练，可实现对多样化下游任务和数据集的强大泛化能力。
• 通过不变性分析、聚类和概念检测等方法，研究学习表征的质量，以验证其语义和结构理解能力。

提出的方法

• 通过模拟相机视角生成遮挡点云：对每个点云，随机采样一个视角，并掩码从该视角不可见的所有点。
• 使用可见点作为输入，训练编码器-解码器架构以重建被掩码（遮挡）的点，其中编码器学习上下文表征。
• 将预训练编码器的权重作为下游任务（如物体分类、部件分割和语义分割）的初始化参数。
• 对所有训练数据应用相同的遮挡过程，确保在预训练数据集（ModelNet40）中实现一致的掩码，且无需标注信息。
• 采用标准深度学习模型（如PointNet、PointNet++）作为编码器和解码器，确保与现有架构的兼容性。
• 通过在预训练期间未见过的下游数据集上微调预训练编码器，评估泛化性能。

实验结果

研究问题

• RQ1 基于遮挡补全的无监督预训练方法能否学习到可泛化的点云表征，并在下游任务中提升性能？
• RQ2 在单一物体级数据集（ModelNet40）上进行预训练，是否能有效迁移到其他数据集和任务，包括点云分布不同的场景？
• RQ3 OcCo学习到的特征在旋转、平移和抖动等变换下是否具备良好的不变性？
• RQ4 在不进行微调或监督的情况下，预训练模型在多大程度上能检测到语义概念（如椅子腿、飞机翼）？
• RQ5 OcCo预训练对微调过程中的损失曲面和优化动力学有何影响？

主要发现

• OcCo在多个数据集和主干网络上，均优于先前的自监督方法（如Jigsaw和cTree），在物体分类、基于部件的分割和语义分割任务中表现更优。
• 该方法在少样本学习中取得显著提升，样本效率高于随机初始化或监督预训练基线。
• OcCo的预训练特征在微调后表现出更宽的局部极小值，表明其具有更好的泛化能力和对优化扰动的鲁棒性。
• 模型学习到了变换不变的特征，其在抖动、旋转和平移下的聚类质量显著优于手工设计的描述符（如VFH和M2DP）。
• 网络解剖分析显示，OcCo检测到的语义概念数量（mIoU > 0.5）多于Jigsaw，且可视化特征掩码与真实部件标签高度对齐。
• 物体嵌入的t-SNE可视化显示，不同物体类别形成清晰、可分离的聚类，表明OcCo学习到了具有判别性和语义意义的表征。