[论文解读] PCPNET: Learning Local Shape Properties from Raw Point Clouds

Paul Guerrero, Yanir Kleiman+2 more|SPIRE - Sciences Po Institutional REpository|Oct 13, 2017

Image Processing and 3D Reconstruction被引用 26

一句话总结

PCPNet 是一种深度学习框架，利用多尺度 PointNet 架构从原始、噪声点云中估计局部 3D 形状属性（如法线和曲率）。它通过在不同噪声水平和采样密度下学习鲁棒的局部特征，无需手动调参，从而优于最先进方法。

ABSTRACT

In this paper, we propose PCPNet, a deep-learning based approach for estimating local 3D shape properties in point clouds. In contrast to the majority of prior techniques that concentrate on global or mid-level attributes, e.g., for shape classification or semantic labeling, we suggest a patch-based learning method, in which a series of local patches at multiple scales around each point is encoded in a structured manner. Our approach is especially well-adapted for estimating local shape properties such as normals (both unoriented and oriented) and curvature from raw point clouds in the presence of strong noise and multi-scale features. Our main contributions include both a novel multi-scale variant of the recently proposed PointNet architecture with emphasis on local shape information, and a series of novel applications in which we demonstrate how learning from training data arising from well-structured triangle meshes, and applying the trained model to noisy point clouds can produce superior results compared to specialized state-of-the-art techniques. Finally, we demonstrate the utility of our approach in the context of shape reconstruction, by showing how it can be used to extract normal orientation information from point clouds.

研究动机与目标

• 开发一种统一的、数据驱动的方法，用于从原始、噪声点云中估计局部形状属性（如法线和曲率）。
• 克服传统基于拟合的方法的局限性，这些方法需要手动调整邻域参数（例如半径或 k-近邻）。
• 在存在噪声、采样密度变化和数据缺失等多种数据缺陷的情况下，实现鲁棒的估计。
• 证明深度学习能够有效从未知方向和有方向的法线中提取局部 patch 特征，包括全局方向。
• 通过迁移学习，实现从干净三角网格到真实世界噪声点云的泛化。

提出的方法

• 使用 PointNet 的多尺度变体，在多个半径下编码每个点周围的局部点邻域，以捕捉不同细节层次的特征。
• 局部 patch 通过共享的深度神经网络处理，联合预测无方向法线和主曲率。
• 网络在通过在干净三角网格上添加不同噪声水平和采样分布生成的合成点云上进行训练。
• 采用具有逐渐增大感受野大小的级联结构，使模型能够通过层间信息聚合推断有方向的法线。
• 该模型利用局部几何结构，无需显式连接性或体素化，避免了量化误差。
• 训练使用原始网格的真值法线和曲率作为监督信号，损失函数针对法线和曲率预测进行了优化。

实验结果

研究问题

• RQ1 在干净网格上训练的深度学习模型能否泛化到真实噪声点云上，以估计局部形状属性？
• RQ2 与经典基于拟合的方法（如 jet 拟合）和基于学习的替代方法相比，PCPNet 在噪声和采样变化下的鲁棒性如何？
• RQ3 基于局部 patch 的网络能否通过分层特征聚合学习有方向的法线（一种全局属性）？
• RQ4 与单尺度方法相比，多尺度局部特征编码在多大程度上提升了估计精度？
• RQ5 该方法的失败模式是什么？它们与几何对称性或训练多样性不足有何关联？

主要发现

• PCPNet 在各种点云条件下（包括高噪声和非均匀采样）的法线和曲率估计中均达到最先进性能。
• 该方法在强噪声条件下始终优于 jet 拟合和 Boulch 等人的霍夫空间去噪方法，曲率估计误差通常低于 1（以真值幅度归一化）。
• 网络能很好地从干净网格泛化到真实扫描（如 NYU RGB-D 数据），且无需在这些数据集上微调。
• PCPNet 即使在对称区域（法线方向模糊）中，也能通过深度架构成功推断有方向的法线。
• 失败案例多出现在大面积平坦区域或对称结构中（如管道内部或立方体表面），仅靠局部 patch 特征无法解决方向模糊性。
• 模型性能与重建任务中正确有方向法线的比例成正比，表明其在泊松表面重建等下游应用中的实用性。