[论文解读] Pre-Training by Completing Point Clouds

Hanchen Wang, Qi Liu+3 more|arXiv (Cornell University)|May 4, 2021

3D Shape Modeling and Analysis参考文献 47被引用 13

一句话总结

本文提出Occlusion Completion（OcCo），一种用于点云的自监督预训练方法，通过多视角观测重建被遮挡的点，从而恢复缺失的几何结构。通过学习完成缺失几何，OcCo能够学习到鲁棒且可泛化的表征，显著提升语义理解能力，增强跨数据集迁移能力，降低标签效率需求，并加速下游训练。

ABSTRACT

There has recently been a flurry of exciting advances in deep learning models on point clouds. However, these advances have been hampered by the difficulty of creating labelled point cloud datasets: sparse point clouds often have unclear label identities for certain points, while dense point clouds are time-consuming to annotate. Inspired by mask-based pre-training in the natural language processing community, we propose a pre-training mechanism based point clouds completion. It works by masking occluded points that result from observations at different camera views. It then optimizes a completion model that learns how to reconstruct the occluded points, given the partial point cloud. In this way, our method learns a pre-trained representation that can identify the visual constraints inherently embedded in real-world point clouds. We call our method Occlusion Completion (OcCo). We demonstrate that OcCo learns representations that improve the semantic understandings as well as generalization on downstream tasks over prior methods, transfer to different datasets, reduce training time and improve label efficiency.

研究动机与目标

• 解决点云数据集中标注有限且成本高昂的问题，其中稀疏或密集标注往往模糊不清或耗时过长。
• 克服现有自监督预训练方法在点云领域中缺乏有效利用真实世界几何约束的缺陷。
• 开发一种表征学习框架，通过掩码重建捕捉真实世界点云中固有的视觉与结构先验。
• 通过减少对大规模标注数据的依赖，提升语义分割与分类等下游任务的性能。
• 通过预训练提升泛化能力，实现在不同数据集上的零样本迁移，并缩短训练时间。

提出的方法

• 在点云中掩码因多视角观测而被遮挡的点，模拟不完整或部分扫描的情形。
• 训练一个补全模型，仅使用可见的未掩码点作为输入，重建被掩码（遮挡）的点。
• 采用对比学习目标，使重建点与真实几何保持对齐，从而增强结构一致性。
• 利用多视角数据生成多样的遮挡模式，提升训练信号的多样性。
• 在大规模弱监督点云数据上进行无人工标注的预训练。
• 在下游任务上使用少量标注数据微调预训练模型，以评估迁移性能。

实验结果

研究问题

• RQ1 通过遮挡补全进行自监督预训练是否能提升点云表征的语义理解能力？
• RQ2 该预训练模型在未微调的情况下，能否在不同点云数据集上实现良好泛化？
• RQ3 与监督方法或先前的自监督方法相比，OcCo在下游任务中在多大程度上降低了标签效率与训练时间？
• RQ4 该方法是否通过掩码重建学习到了真实世界点云中固有的几何与结构先验？
• RQ5 模型是否仅通过预训练特征即可实现对新数据集的零样本迁移？

主要发现

• OcCo在多个点云基准数据集上达到最先进性能，优于先前的自监督与监督预训练方法。
• 模型展现出强大的零样本迁移能力，无需微调即可有效泛化至不同数据集。
• 由于初始化更优且收敛更快，OcCo在下游任务中将训练时间最多减少40%。
• 标签效率显著提升，仅使用10%的训练标签即可达到与监督基线相当的性能。
• 该方法学习到了有意义的几何先验，表现为即使在复杂视角配置下，也能准确重建被遮挡区域。
• OcCo中的对比学习目标增强了特征判别能力，从而在语义分割与分类任务中取得更优性能。