[论文解读] Non-Rigid Point Set Registration Networks

Wang, Lingjing, Chen Jian-chun+2 more|arXiv (Cornell University)|Apr 2, 2019

3D Shape Modeling and Analysis参考文献 26被引用 33

一句话总结

PR-Net 从训练数据中学习一个配准模式，直接预测未见点集合的非刚性变换，实现快速、鲁棒的配准，并且无需迭代优化。

ABSTRACT

Point set registration is defined as a process to determine the spatial transformation from the source point set to the target one. Existing methods often iteratively search for the optimal geometric transformation to register a given pair of point sets, driven by minimizing a predefined alignment loss function. In contrast, the proposed point registration neural network (PR-Net) actively learns the registration pattern as a parametric function from a training dataset, consequently predict the desired geometric transformation to align a pair of point sets. PR-Net can transfer the learned knowledge (i.e. registration pattern) from registering training pairs to testing ones without additional iterative optimization. Specifically, in this paper, we develop novel techniques to learn shape descriptors from point sets that help formulate a clear correlation between source and target point sets. With the defined correlation, PR-Net tends to predict the transformation so that the source and target point sets can be statistically aligned, which in turn leads to an optimal spatial geometric registration. PR-Net achieves robust and superior performance for non-rigid registration of point sets, even in presence of Gaussian noise, outliers, and missing points, but requires much less time for registering large number of pairs. More importantly, for a new pair of point sets, PR-Net is able to directly predict the desired transformation using the learned model without repetitive iterative optimization routine. Our code is available at https://github.com/Lingjing324/PR-Net.

研究动机与目标

• 为大规模数据集激发快速、实时的非刚性点集配准。
• 提出一种学习驱动的框架，在点对之间迁移配准模式。
• 开发适用于不规则点云的形状描述子与相关表示。
• 在降低计算时间的同时，展示对噪声、离群点和不完整数据的鲁棒性。

提出的方法

• 在点集上的参考网格上学习形状描述子张量，以捕获局部/全局几何信息。
• 将形状相关张量定义为源描述子与目标描述子之间的全对全点级相关。
• 使用二维/三维卷积神经网络将形状相关张量映射到变换参数（通过基于TPS的模型实现刚性/非刚性变换）。
• 采用统计对齐损失，通过Chamfer Distance和高斯混合模型（GMM）似然度将变换后的源点与目标进行比较。
• 使用 Adam 优化器端到端训练，采用粗到细的方案，通过逐步退火 GMM/σ 参数。
• 描述训练设置，包括参考网格、MLP 层维度和网络结构细节。

实验结果

研究问题

• RQ1 是否可以用基于学习的模型在无需迭代优化的情况下直接预测未见点集的非刚性变换？
• RQ2 如何有效表示点云的不规则结构以学习注册模式？
• RQ3 哪些表示（形状描述子和相关张量）能够在噪声、离群点和数据不完整的情况下实现鲁棒对齐？
• RQ4 与传统的非学习配准方法在速度和精度方面相比，PR-Net 的表现如何？

主要发现

• PR-Net 在训练完成后可以直接对新的点集合对预测几何变换，避免逐对优化。
• 在1万对2D鱼形点集上，PR-Net 训练约13分钟，测试约8秒，Chamfer Distance 与 CPD 相近（训练0.0037，测试0.0044，CPD ~0.0038）。
• PR-Net 在变形水平达到约1.0时仍保持低的 Chamfer Distance（例如 2D 鱼在变形 0.3–1.0 时 CD 约为 0.015–0.016）。
• PR-Net 对数据不完整、点漂移和离群点表现出鲁棒性，CD 在更高的噪声/缺失水平前保持较低（例如 D.I. 高达 0.6，D.O. 高达 0.3）。
• 与 CPD 基线相比，PR-Net 提供显著更快的配准速度（秒级 vs 小时级）和更稳定的泛化（CD标准差更低）。
• 该方法在各种2D/3D形状（手、骨架、头骨、脸、猫）上具有较一致的在中等变形下的性能。