[论文解读] P2C: Self-Supervised Point Cloud Completion from Single Partial Clouds

Ruikai Cui, Shi Qiu+5 more|arXiv (Cornell University)|Jul 27, 2023

3D Shape Modeling and Analysis参考文献 41被引用 4

一句话总结

P2C 提出首个自监督点云补全框架，仅需每类物体的单个部分扫描进行训练，无需完整形状或多视角数据。通过引入区域感知的 Chamfer 距离与法向一致性约束，其在合成数据和真实世界数据上均达到最先进性能，优于使用完整真实标签训练的方法。

ABSTRACT

Point cloud completion aims to recover the complete shape based on a partial observation. Existing methods require either complete point clouds or multiple partial observations of the same object for learning. In contrast to previous approaches, we present Partial2Complete (P2C), the first self-supervised framework that completes point cloud objects using training samples consisting of only a single incomplete point cloud per object. Specifically, our framework groups incomplete point clouds into local patches as input and predicts masked patches by learning prior information from different partial objects. We also propose Region-Aware Chamfer Distance to regularize shape mismatch without limiting completion capability, and devise the Normal Consistency Constraint to incorporate a local planarity assumption, encouraging the recovered shape surface to be continuous and complete. In this way, P2C no longer needs multiple observations or complete point clouds as ground truth. Instead, structural cues are learned from a category-specific dataset to complete partial point clouds of objects. We demonstrate the effectiveness of our approach on both synthetic ShapeNet data and real-world ScanNet data, showing that P2C produces comparable results to methods trained with complete shapes, and outperforms methods learned with multiple partial observations. Code is available at https://github.com/CuiRuikai/Partial2Complete.

研究动机与目标

• 解决在完整 3D 形状不可用或获取成本高昂时的点云补全挑战。
• 消除对配对的部分-完整数据、多视角或完整形状监督的依赖。
• 开发一种自监督框架，从同一物体类别中单个部分观测中学习结构先验。
• 通过引入局部平面性与形状一致性等几何先验，提升补全质量。
• 将单视角部分扫描中的弱监督信号统一为一种稳健且可扩展的训练范式。

提出的方法

• 该方法将不完整点云分组为局部区域，以建模连续的表面区域，实现掩码区域预测。
• 提出区域感知 Chamfer 距离（RCD），仅对靠近观测区域的点计算距离，避免对缺失部分的惩罚，同时约束异常值。
• 基于循环一致性设计潜在重建损失，确保同一物体不同部分区域的补全结果生成一致的完整形状。
• 法向一致性约束（NCC）通过最小化邻近点间法向量相似性的方差，对预测进行正则化，以强化局部表面连续性。
• 将 RCD 与 NCC 结合标准重建损失，引导补全过程，同时保持形状完整性并减少伪影。
• 模型采用端到端训练，仅需每类物体的单个部分扫描，无需完整真实标签或多视角对齐。

实验结果

研究问题

• RQ1 能否仅使用每类物体的单个部分扫描进行点云补全训练，而无需完整形状监督？
• RQ2 自监督框架如何从同一类别中不同缺失部分中学习结构先验？
• RQ3 哪些损失函数最有效，可在防止对观测区域过拟合的同时实现缺失几何的恢复？
• RQ4 如何将局部平面性等几何先验融入模型以提升补全结果的表面连续性？
• RQ5 当完整形状不可用时，自监督方法能否超越有监督或弱监督基线方法？

主要发现

• P2C 在合成 ShapeNet 与真实世界 ScanNet 数据集上均达到最先进性能，甚至超越使用完整真实标签训练的模型。
• 消融实验表明，引入区域感知 Chamfer 距离（RCD）使 Chamfer Distance 相比基线降低 5.1，表明补全能力显著提升。
• 引入潜在重建损失后性能进一步提升，相比仅使用 RCD 的训练，CD-ℓ₂ 降低 1.5。
• 法向一致性约束（NCC）取得最佳整体结果，在 3D-EPN 数据集上实现 CD-ℓ₂ 为 11.2，优于使用平均值或最小值法向相似性的替代方法。
• 模型显著减少异常点生成，并提升表面连续性，经真实扫描的定性与定量分析验证。
• 该框架展现出强大泛化能力，尽管仅在单个部分扫描上进行训练，仍能在真实世界数据上生成高质量补全结果。