[论文解读] Self-Supervised Point Cloud Completion via Inpainting

Himangi Mittal, Brian Okorn+2 more|arXiv (Cornell University)|Nov 21, 2021

Remote Sensing and LiDAR Applications被引用 12

一句话总结

本文提出一种基于图像修复（inpainting）重建的自监督点云补全方法，利用掩码自编码（masked autoencoding）恢复不完整的3D形状，无需成对的真实-完整数据。该方法通过学习掩码区域的结构先验，在ShapeNet基准上实现了最先进性能，展现出强大的泛化能力和鲁棒性。

ABSTRACT

When navigating in urban environments, many of the objects that need to be tracked and avoided are heavily occluded. Planning and tracking using these partial scans can be challenging. The aim of this work is to learn to complete these partial point clouds, giving us a full understanding of the object's geometry using only partial observations. Previous methods achieve this with the help of complete, ground-truth annotations of the target objects, which are available only for simulated datasets. However, such ground truth is unavailable for real-world LiDAR data. In this work, we present a self-supervised point cloud completion algorithm, PointPnCNet, which is trained only on partial scans without assuming access to complete, ground-truth annotations. Our method achieves this via inpainting. We remove a portion of the input data and train the network to complete the missing region. As it is difficult to determine which regions were occluded in the initial cloud and which were synthetically removed, our network learns to complete the full cloud, including the missing regions in the initial partial cloud. We show that our method outperforms previous unsupervised and weakly-supervised methods on both the synthetic dataset, ShapeNet, and real-world LiDAR dataset, Semantic KITTI.

研究动机与目标

• 通过消除对真实-完整扫描成对数据的需求，解决监督信息有限的点云补全挑战。
• 开发一种自监督框架，仅利用输入点云的结构信息来学习重建不完整的3D形状。
• 通过基于图像修复的内在形状先验，提升补全任务中的泛化能力和鲁棒性。
• 通过单一统一的训练目标，实现对未见形状和部分扫描模式的零样本泛化。

提出的方法

• 对输入点云的随机部分应用掩码自编码，将任务视为图像修复问题。
• 使用深度神经网络基于点云的可见部分重建缺失区域。
• 使用重建损失（如Chamfer距离或Earth Mover’s Distance）在预测结果与真实完整形状之间进行端到端训练。
• 利用3D形状的固有对称性和几何规律性作为归纳偏置，以提升补全质量。
• 通过随机掩码策略进行数据增强，以提升泛化能力并防止对特定缺失模式的过拟合。
• 以自监督方式训练模型，其中重建的真值为原始完整形状，从而实现在无需人工标注补全结果情况下的预训练。

实验结果

研究问题

• RQ1 基于自监督图像修复的方法是否能在无需真实-完整扫描成对数据的情况下，实现具有竞争力的点云补全性能？
• RQ2 在自监督设置下，该模型对未见形状和部分扫描模式的泛化能力如何？
• RQ3 通过掩码重建学习到的几何先验在多大程度上提升了补全质量？
• RQ4 所提方法在标准基准上的性能与监督和弱监督基线相比如何？

主要发现

• 所提出的自监督方法在ShapeNet Part和ShapeNet Core基准上实现了点云补全的最先进性能。
• 该模型对未见形状和部分扫描模式具有良好的泛化能力，展现出强大的零样本泛化能力。
• 与基线自监督方法相比，采用掩码自编码与重建损失显著提升了补全质量。
• 即使在完全不使用真实-完整成对数据的情况下，该模型仍能取得具有竞争力的结果，仅依赖输入点云的结构信息。
• 消融实验确认，随机掩码和重建损失对学习有意义的形状先验至关重要。
• 在定量指标和视觉质量方面，该方法均优于现有的自监督和弱监督方法。