[论文解读] PMP-Net: Point Cloud Completion by Learning Multi-step Point Moving Paths

Xin Wen, Xiang Peng+5 more|arXiv (Cornell University)|Dec 7, 2020

3D Shape Modeling and AnalysisEngineering参考文献 49被引用 17

一句话总结

PMP-Net 提出了一种新颖的点云补全方法，将形状补全建模为多步点形变过程，在地球移动距离（EMD）正则化下学习独特的点移动路径（PMP），以提升结构保真度。通过使用具有递归路径聚合（RPA）模块的粗到细路径搜索策略，其在 Completion3D 和 PCN 数据集上实现了最先进性能，显著优于生成基线方法。

ABSTRACT

The task of point cloud completion aims to predict the missing part for an incomplete 3D shape. A widely used strategy is to generate a complete point cloud from the incomplete one. However, the unordered nature of point clouds will degrade the generation of high-quality 3D shapes, as the detailed topology and structure of discrete points are hard to be captured by the generative process only using a latent code. In this paper, we address the above problem by reconsidering the completion task from a new perspective, where we formulate the prediction as a point cloud deformation process. Specifically, we design a novel neural network, named PMP-Net, to mimic the behavior of an earth mover. It moves each point of the incomplete input to complete the point cloud, where the total distance of point moving paths (PMP) should be shortest. Therefore, PMP-Net predicts a unique point moving path for each point according to the constraint of total point moving distances. As a result, the network learns a strict and unique correspondence on point-level, which can capture the detailed topology and structure relationships between the incomplete shape and the complete target, and thus improves the quality of the predicted complete shape. We conduct comprehensive experiments on Completion3D and PCN datasets, which demonstrate our advantages over the state-of-the-art point cloud completion methods.

研究动机与目标

• 为解决生成模型在捕捉不完整点云中细节拓扑和结构方面的局限性。
• 在不完整形状与完整形状之间建立严格且唯一的点级对应关系，以提升补全质量。
• 将点云补全重新表述为可微分的点形变过程，而非直接生成。
• 通过基于 EMD 的正则化学习最优、最短的总路径移动，以增强结构保真度。
• 通过粗到细的多步路径搜索策略，实现点轨迹的渐进式优化。

提出的方法

• PMP-Net 将点云补全建模为多步形变过程，其中不完整点云中的每个点被移动至完整形状中对应的位置。
• 引入一种受 GRU 启发的新型循环路径聚合（RPA）模块，用于记忆和聚合每个点的历史移动路径。
• 网络采用粗到细的路径搜索策略，通过逐步减小的搜索半径来逐步优化移动预测。
• 通过基于地球移动距离（EMD）的点移动路径（PMP）损失对学习过程进行正则化，确保总路径长度最小化，并促进唯一且稳定的对应关系。
• 模型在每一步预测移动的方向和长度，条件基于当前位置和聚合的历史路径信息。
• 网络架构端到端训练，以最小化 PMP 损失，从而在最终补全的点云中强制实现几何一致性与结构准确性。

实验结果

研究问题

• RQ1 与直接生成相比，学习显式的点移动路径是否能提升点云补全的结构保真度？
• RQ2 对总路径长度施加基于 EMD 的正则化，如何影响预测点对应关系的唯一性和质量？
• RQ3 在点云形变的多步路径优化中，最优的步数和搜索半径缩放策略是什么？
• RQ4 引入循环历史路径聚合是否能提升路径预测的准确性，相较于单步或非循环方法？
• RQ5 与单步形变相比，粗到细路径搜索策略在多大程度上提升了补全质量？

主要发现

• PMP-Net 在 Completion3D 基准上实现了最先进性能，平均切比雪夫距离（CD）为 11.58，优于基线方法。
• 消融实验表明，移除 PMP 损失后，平均 CD 上升至 13.66，证实其在提升结构准确性方面具有关键作用。
• 采用三步路径搜索并使用递减半径 [1.0, 0.1, 0.01] 时性能最佳，而四步方法因冗余导致收益递减。
• 使用递减半径 [1.0, 0.1, 0.01] 的粗到细策略优于固定半径 [1.0,1.0,1.0] 和缓慢衰减 [1.0,0.5,0.25] 的策略。
• 视觉分析表明，粗到细搜索在早期阶段的预测更完整且更具结构，从而在后续步骤中实现更优的细化。
• RPA 模块相较于非循环基线显著提升性能，与简单 RNN 路径聚合器相比，平均 CD 降低 1.7%。