[论文解读] Non-rigid Point Cloud Registration with Neural Deformation Pyramid

Yang Li, Tatsuya Harada|arXiv (Cornell University)|May 25, 2022

3D Shape Modeling and Analysis被引用 14

一句话总结

本文提出神经形变金字塔（NDP），一种用于非刚性点云配准的分层深度学习方法，通过在多层感知机（MLP）金字塔中使用频率递增的正弦编码，将复杂形变分解为多尺度运动层级。NDP在4DMatch/4DLoMatch基准上达到最先进性能，且推理速度比以往基于坐标网络的方法快50倍以上。

ABSTRACT

Non-rigid point cloud registration is a key component in many computer vision and computer graphics applications. The high complexity of the unknown non-rigid motion make this task a challenging problem. In this paper, we break down this problem via hierarchical motion decomposition. Our method called Neural Deformation Pyramid (NDP) represents non-rigid motion using a pyramid architecture. Each pyramid level, denoted by a Multi-Layer Perception (MLP), takes as input a sinusoidally encoded 3D point and outputs its motion increments from the previous level. The sinusoidal function starts with a low input frequency and gradually increases when the pyramid level goes down. This allows a multi-level rigid to nonrigid motion decomposition and also speeds up the solving by 50 times compared to the existing MLP-based approach. Our method achieves advanced partialto-partial non-rigid point cloud registration results on the 4DMatch/4DLoMatch benchmark under both no-learned and supervised settings.

研究动机与目标

• 为解决由于未知的大规模形变和部分重叠导致的非刚性点云配准复杂性问题。
• 在无学习和监督设置下，提升部分到部分点云匹配的配准精度与速度。
• 利用多层级神经架构建模分层非刚性运动——从全局到局部形变。
• 为形状迁移等应用实现高效、连续的形变场预测。

提出的方法

• NDP使用多层感知机（MLP）金字塔，每一层基于正弦编码的3D坐标，从上一级预测运动增量。
• 正弦编码的频率从金字塔顶部到底部逐渐增加，实现从粗到细的运动分解：低频建模类似刚性的运动，高频捕捉精细的非刚性细节。
• 该方法采用分层优化策略，每轮迭代仅查询一个MLP，显著降低计算开销。
• 采用$L_1$-范数的Chamfer距离损失以增强对异常值和部分重叠的鲁棒性，并评估了不同形变场类型（如SE(3)、Sim(3)、R^3）及旋转表示方式（轴角、欧拉角、四元数）。
• 连续的形变场可直接对源网格顶点进行形变，支持实现具有区域尺度变化的形状迁移应用。
• 该方法在无监督和监督两种设置下进行评估，并对损失函数、运动场类型及旋转表示方式进行了消融实验。

实验结果

研究问题

• RQ1 分层运动分解能否提升非刚性点云配准的精度与效率？
• RQ2 在金字塔各层级中增加输入正弦编码的频率，对形变建模能力有何影响？
• RQ3 不同损失函数（如$L_1$与$L_2$）对部分到部分配准的鲁棒性有何影响？
• RQ4 哪种形变场类型（SE(3)、Sim(3)、R^3）和旋转表示方式（轴角、欧拉角、四元数）能获得最佳配准性能与最快收敛速度？
• RQ5 NDP能否实现有效的形状迁移，支持非刚性形变中的区域特定尺度变化？

主要发现

• NDP在4DMatch/4DLoMatch基准上，于无学习和监督设置下，均实现了部分到部分非刚性配准的最先进性能。
• 该方法比先前基于坐标网络的方法（如Nerfies）快50倍以上，显著提升了推理效率。
• 由于对异常值和非重叠区域的大误差更具鲁棒性，$L_1$-范数损失在部分配准中表现优于$L_2$-范数。
• SE(3)形变场优于Sim(3)或R^3形变场，且Sim(3)因需额外估计尺度参数，收敛所需迭代次数更多。
• 轴角与欧拉角表示方式在性能和收敛速度上优于四元数或6D表示方式。
• 该方法成功实现了具有真实感区域尺度变化的形状迁移，已在Mixamo和DeformingThings4D角色上得到验证。