[论文解读] Self-supervised Learning for Pre-Training 3D Point Clouds: A Survey

Ben Fei, Weidong Yang+5 more|arXiv (Cornell University)|May 8, 2023

3D Surveying and Cultural Heritage被引用 7

一句话总结

本综述系统性地回顾了利用深度神经网络对3D点云表示进行预训练的自监督学习（SSL）方法。它提出了一套统一框架，将现有方法分类为物体/室内与室外场景级学习，分析了对比学习和重建等掩码任务，并强调了未来方向，包括多模态融合、时序建模和语义监督，以提升3D视觉任务的泛化能力并减少对标注数据的依赖。

ABSTRACT

Point cloud data has been extensively studied due to its compact form and flexibility in representing complex 3D structures. The ability of point cloud data to accurately capture and represent intricate 3D geometry makes it an ideal choice for a wide range of applications, including computer vision, robotics, and autonomous driving, all of which require an understanding of the underlying spatial structures. Given the challenges associated with annotating large-scale point clouds, self-supervised point cloud representation learning has attracted increasing attention in recent years. This approach aims to learn generic and useful point cloud representations from unlabeled data, circumventing the need for extensive manual annotations. In this paper, we present a comprehensive survey of self-supervised point cloud representation learning using DNNs. We begin by presenting the motivation and general trends in recent research. We then briefly introduce the commonly used datasets and evaluation metrics. Following that, we delve into an extensive exploration of self-supervised point cloud representation learning methods based on these techniques. Finally, we share our thoughts on some of the challenges and potential issues that future research in self-supervised learning for pre-training 3D point clouds may encounter.

研究动机与目标

• 为解决3D计算机视觉和机器人技术中大规模标注3D点云数据成本高且稀缺的问题。
• 为3D点云预训练的自监督学习（SSL）方法提供系统性分类，区分物体/室内与室外场景级学习。
• 整合并比较不同数据集和评估指标下的现有SSL技术，如对比学习、重建和多模态学习。
• 识别关键挑战并提出未来研究方向，包括多模态融合、时序建模和语义监督。
• 提供一个统一框架，以促进对3D点云表示学习中SSL方法的更好理解、比较与推进。

提出的方法

• 提出统一框架，将3D点云的SSL方法划分为两大主要层次：物体/室内场景级与室外场景级。
• 基于掩码任务对SSL技术进行分类，包括对比学习、重建和多模态对齐（如图像-点云、文本-点云）。
• 回顾并比较最先进方法，如Voxel-MAE和BEV-MAE，其在场景级点云上使用掩码自编码技术。
• 分析通过数据结构实现自监督的方法，如空间不变性、几何一致性及实例级对比性。
• 整合2D预训练（如CLIP）的洞见，并提出通过跨模态对齐和视觉-语言预训练将这些方法扩展至3D。
• 探索将时序序列和高层语义标注（如来自SAM或SegGPT）作为监督信号，以提升3D表示学习性能。

实验结果

研究问题

• RQ1 如何在不依赖人工标注数据的前提下，有效利用自监督学习预训练3D点云表示？
• RQ2 面向物体/室内场景与室外场景设计的SSL方法之间，关键差异与相似性是什么？
• RQ3 对比学习、重建和掩码自编码等掩码任务如何促进学习通用的3D特征？
• RQ4 多模态数据（图像、文本、深度）在增强3D点云表示学习方面发挥什么作用？
• RQ5 未来方向如时序建模、语义监督和统一多模态框架，如何进一步提升3D点云自监督学习的鲁棒性与泛化能力？

主要发现

• 在大规模无标注点云上进行自监督预训练，显著提升了下游任务（如3D目标检测和实例分割）的性能，Voxel-MAE和BEV-MAE等方法展现出强大的迁移能力。
• 对比学习和掩码自编码是最有效的掩码学习策略之一，使模型能够从原始点云中学习几何与结构不变性。
• 多模态预训练（如ULIP）通过对齐图像、文本和点云，提升了特征质量，并增强了在多样化3D理解任务中的泛化能力。
• 对时序点云数据的建模仍处于探索阶段，但有望提升自动驾驶和机器人技术中对动态场景的理解能力。
• 引入高层语义监督（如来自SAM或SegGPT）可增强空间推理能力，并提升在复杂3D场景理解任务中的性能。
• 将CLIP等2D预训练模型和视觉Transformer整合进3D SSL框架，可实现有效的知识迁移，并为统一的3D-2D表示学习开辟新途径。