[论文解读] PRNet: Self-Supervised Learning for Partial-to-Partial Registration

Yue Wang, Justin Solomon|arXiv (Cornell University)|Oct 27, 2019

3D Shape Modeling and Analysis被引用 112

一句话总结

PRNet 引入一个自监督的迭代框架，用于部分到部分点云配准，通过 Gumbel–Softmax 与一个 actor–critic 风格模块学习关键点、对应关系和刚性变换，在合成和真实数据上达到最先进的结果，同时实现向分类的迁移。

ABSTRACT

We present a simple, flexible, and general framework titled Partial Registration Network (PRNet), for partial-to-partial point cloud registration. Inspired by recently-proposed learning-based methods for registration, we use deep networks to tackle non-convexity of the alignment and partial correspondence problems. While previous learning-based methods assume the entire shape is visible, PRNet is suitable for partial-to-partial registration, outperforming PointNetLK, DCP, and non-learning methods on synthetic data. PRNet is self-supervised, jointly learning an appropriate geometric representation, a keypoint detector that finds points in common between partial views, and keypoint-to-keypoint correspondences. We show PRNet predicts keypoints and correspondences consistently across views and objects. Furthermore, the learned representation is transferable to classification.

研究动机与目标

• 解决仅可见形状子集的部分到部分点云配准问题。
• 开发一个自监督框架，在无需标注数据的情况下学习几何表征、关键点检测器和关键点对应关系。
• 实现类似 ICP 的迭代式粗到细的对齐细化，同时利用基于学习的鲁棒性。
• 证明学得的表征可迁移到三维形状分类任务。
• 提供可复现的方法并发布代码，供三维视觉与配准领域的研究者使用。

提出的方法

• 使用深度网络通过 DGCNN 与 Transformer 学习两组点云的共上下文嵌入。
• 通过利用学习特征的 L2 范数来选择前 k 个点，以检测互相共享的关键点。
• 用 Gumbel–Softmax 采样器和直接梯度估计器预测关键点到关键点的对应关系。
• 引入一个由 critic 风格网络预测的自适应温度 (lambda)，以控制对应映射的锐度。
• 在检测到的关键点上求解 Procrustes 对齐，得到刚性变换估计。
• 迭代地应用 PRNet 以细化对齐，在每一步更新嵌入和关键点。

实验结果

研究问题

• RQ1 PRNet 能否在缺少全视图对应关系的情况下稳健地完成部分到部分配准？
• RQ2 自监督学习的关键点检测和对应关系是否能为下游任务如分类提供可迁移的表征？
• RQ3 自适应、受 actor–critic 启发的映射锐度控制是否能在不同视角条件下提高配准精度？
• RQ4 在合成数据和真实数据的部分到部分设置下，PRNet 与经典方法及其他学习方法相比有何差异？

主要发现

模型	MSE(R) ↓	RMSE(R) ↓	MAE(R) ↓	R2(R) ↑	MSE(t) ↓	RMSE(t) ↓	MAE(t) ↓	R2(t) ↑
ICP	1134.552	33.683	25.045	-5.696	0.0856	0.293	0.250	-0.037
Go-ICP [14]	195.985	13.999	3.165	-0.157	0.0011	0.033	0.012	0.987
FGR [61]	126.288	11.238	2.832	0.256	0.0009	0.030	0.008	0.989
PointNetLK [1]	280.044	16.735	7.550	-0.654	0.0020	0.045	0.025	0.975
DCP-v2 [2]	45.005	6.709	4.448	0.732	0.0007	0.027	0.020	0.991
PRNet (Ours)	10.235	3.199257	1.454	0.939	0.0003	0.016	0.010	0.997

• PRNet 在合成数据（ModelNet40）和真实数据的部分到部分配准任务中达到tested 方法的最先进性能，在多项指标上超过 ICP、Go-ICP、FGR、PointNetLK 和 DCP-v2。
• 方法学习得到的关键点和对应关系在不同视角和对象间保持一致，支持可靠的 Procrustes 对齐。
• 带有预测温度(lambda)的自适应 Gumbel–Softmax 在适当情形下提高了对应关系的锐度，从而产生更准确的刚性变换。
• PRNet 学到的配准表征可转移到 3D 形状分类任务，在 ShapeNetCore 派生嵌入上使用线性 SVM 仍具有竞争力的准确性。
• 在真实扫描数据上的推理阶段微调（以提高真实感）显示出实际应用性及对真实世界数据的鲁棒性。