[论文解读] PCN: Point Completion Network

Wentao Yuan, Tejas Khot+3 more|arXiv (Cornell University)|Aug 2, 2018

3D Shape Modeling and Analysis参考文献 66被引用 35

一句话总结

PCN 提出了一种基于学习的形状补全方法，可直接处理未经体素化的原始 3D 点云，采用自粗到精的解码器生成密集且逼真的补全结果。该方法在合成数据和真实世界数据（包括 KITTI 激光雷达扫描数据）上均实现了最先进性能，对噪声和稀疏性具有更强的鲁棒性，并能提升点云配准等下游任务的性能。

ABSTRACT

Shape completion, the problem of estimating the complete geometry of objects from partial observations, lies at the core of many vision and robotics applications. In this work, we propose Point Completion Network (PCN), a novel learning-based approach for shape completion. Unlike existing shape completion methods, PCN directly operates on raw point clouds without any structural assumption (e.g. symmetry) or annotation (e.g. semantic class) about the underlying shape. It features a decoder design that enables the generation of fine-grained completions while maintaining a small number of parameters. Our experiments show that PCN produces dense, complete point clouds with realistic structures in the missing regions on inputs with various levels of incompleteness and noise, including cars from LiDAR scans in the KITTI dataset.

研究动机与目标

• 为解决来自真实世界传感器（如激光雷达）的不完整 3D 点云补全挑战，这些点云常因稀疏性和遮挡而难以处理。
• 消除体素化的需求，避免其带来的高内存开销和几何细节损失。
• 开发一种深度学习模型，直接从部分点云生成高分辨率、细粒度的补全结果。
• 通过提供更密集、更完整的输入，提升点云配准等下游任务的性能。
• 确保在不同物体类别和真实世界数据（包括未见形状和传感器模态）上的泛化能力。

提出的方法

• 使用一种排列不变的基于 PointNet 的编码器，从无序的部分点云中提取特征。
• 采用一种新颖的自粗到精解码器，在两个阶段生成密集点云：先进行粗略补全，再进行细化。
• 引入一种可微分损失函数，确保补全形状的几何一致性和保真度。
• 避免中间体素化过程，保留完整的几何分辨率并减少内存使用。
• 使用来自 ShapeNet 的大规模合成形状数据集，端到端训练整个网络。
• 支持在标准 CPU 上实现实时推理，适用于机器人应用。

实验结果

研究问题

• RQ1 深度学习模型能否直接从原始、无序的点云中完成 3D 点云补全，而无需体素化或结构假设？
• RQ2 与基于体素的基线方法相比，自粗到精解码器设计在补全质量和参数效率方面有何改进？
• RQ3 PCN 在真实世界数据（如 KITTI 数据集的稀疏激光雷达扫描）上的泛化能力如何？
• RQ4 使用 PCN 进行形状补全在提升点云配准等下游任务方面有多大帮助？
• RQ5 当处理细长结构或断开部分时，该模型的失败模式是什么？

主要发现

• PCN 显著提升了点云配准的准确性，降低了旋转和平移误差，尤其在部分输入导致初始误差较高的情况下效果更明显。
• 该方法在 ShapeNet 基准测试中实现了最先进性能，能够生成具有精细几何细节的逼真、高分辨率补全结果。
• PCN 对噪声和稀疏性表现出强大的鲁棒性，在不完整和稀疏输入上优于基于体素的方法。
• 模型在未见物体类别（包括训练数据中未出现的类别）上泛化良好，如 ShapeNet 上的定性结果所示。
• PCN 可在标准 CPU 上实现实时推理，使用 3.60GHz 的 Intel Core i7-7700 处理器，适用于在线机器人应用。
• 该网络在 2,396 个测试实例上提升了配准性能，尤其在最具挑战性的部分扫描中取得了最大改进。