[论文解读] Unsupervised Partial Point Set Registration via Joint Shape Completion and Registration

Xiang Li, Lingjing Wang+1 more|arXiv (Cornell University)|Sep 11, 2020

3D Shape Modeling and Analysis参考文献 47被引用 5

一句话总结

本文提出了一种无监督深度学习方法，通过共享潜在码联合优化形状补全与刚性配准，实现部分点集配准。该模型摒弃了显式的特征编码，采用端到端的共享潜在码训练，且在ModelNet40上达到最先进性能，即使在512个点缺失的情况下，RMSE(R)仍低于1°，RMSE(t) < 0.06。

ABSTRACT

We propose a self-supervised method for partial point set registration. While recent proposed learning-based methods have achieved impressive registration performance on the full shape observations, these methods mostly suffer from performance degradation when dealing with partial shapes. To bridge the performance gaps between partial point set registration with full point set registration, we proposed to incorporate a shape completion network to benefit the registration process. To achieve this, we design a latent code for each pair of shapes, which can be regarded as a geometric encoding of the target shape. By doing so, our model does need an explicit feature embedding network to learn the feature encodings. More importantly, both our shape completion network and the point set registration network take the shared latent codes as input, which are optimized along with the parameters of two decoder networks in the training process. Therefore, the point set registration process can thus benefit from the joint optimization process of latent codes, which are enforced to represent the information of full shape instead of partial ones. In the inference stage, we fix the network parameter and optimize the latent codes to get the optimal shape completion and registration results. Our proposed method is pure unsupervised and does not need any ground truth supervision. Experiments on the ModelNet40 dataset demonstrate the effectiveness of our model for partial point set registration.

研究动机与目标

• 解决基于深度学习的方法在完整点集与部分点集配准之间存在的性能差距。
• 克服输入形状不完整或部分观测时配准精度下降的问题。
• 通过设计自监督框架实现部分配准，消除对真实标签监督的依赖。
• 通过共享潜在码的联合优化，同时提升形状补全与配准性能。
• 开发一种无需显式特征编码网络的方法，降低网络架构复杂度。

提出的方法

• 为每对形状引入一个可学习的潜在码，作为无需显式特征网络的全局几何嵌入。
• 将共享潜在码与形状补全网络及点集配准网络联合训练。
• 将潜在码同时作为形状补全与配准网络的输入，实现相互优化。
• 在训练过程中优化潜在码，使其即使在部分输入下也能表示完整形状的几何结构。
• 推理时固定网络权重，仅优化潜在码以生成补全形状与精确的刚性变换。
• 使用重建损失与配准损失，以无监督方式训练整个系统，无需真实变换或真实形状监督。

实验结果

研究问题

• RQ1 形状补全与配准的联合优化是否能提升部分点集上的性能？
• RQ2 共享潜在码表示是否相比显式特征编码器能实现更好的泛化性与鲁棒性？
• RQ3 通过潜在码优化的无监督训练在多大程度上优于现有有监督或弱监督方法在部分形状上的表现？
• RQ4 在缺乏真实标签的情况下，形状补全的引入在多大程度上提升了刚性变换估计的准确性？
• RQ5 该方法在点云显著稀疏或存在噪声时是否仍能保持高性能？

主要发现

• 在ModelNet40上，当剩余768个点（缺失640个点）时，该方法实现RMSE(R)为0.228857，RMSE(t)为0.057238，表明在部分输入下性能出色。
• 即使在512个点缺失的情况下，飞机与椅子类别仍保持RMSE(R) < 5°且RMSE(t) < 0.06，显示出对高稀疏性的鲁棒性。
• 消融实验表明，形状补全模块显著提升了旋转预测性能，RMSE(R)从基线的1.394375降低至完整模型的0.228857。
• 在飞机类别上，该模型优于DCP与PR-Net，实现更低的MSE(R)（0.058920 vs. 20.518583）与RMSE(t)（0.057238 vs. 0.039315）。
• 失败案例主要出现在512个点缺失时，由于潜在码优化陷入局部极小值，导致旋转误差较高（MSE(R)高达20.928）。
• 实验表明该方法对高斯噪声具有鲁棒性，表明其在真实世界中存在不完美数据场景下的实际应用潜力。