[论文解读] REGTR: End-to-end Point Cloud Correspondences with Transformers

Zi Jian Yew, Gim Hee Lee|arXiv (Cornell University)|Mar 28, 2022

3D Shape Modeling and Analysis被引用 17

一句话总结

REGTR 提出了一种基于 Transformer 的端到端点云配准框架，可直接预测干净且一致的对应点，而无需依赖最近邻匹配或 RANSAC。通过利用带位置编码的多头自注意力与交叉注意力机制，该方法在 3DMatch 和 ModelNet 基准测试中实现了最先进性能，具备更快的推理速度和更强的鲁棒性。

ABSTRACT

Despite recent success in incorporating learning into point cloud registration, many works focus on learning feature descriptors and continue to rely on nearest-neighbor feature matching and outlier filtering through RANSAC to obtain the final set of correspondences for pose estimation. In this work, we conjecture that attention mechanisms can replace the role of explicit feature matching and RANSAC, and thus propose an end-to-end framework to directly predict the final set of correspondences. We use a network architecture consisting primarily of transformer layers containing self and cross attentions, and train it to predict the probability each point lies in the overlapping region and its corresponding position in the other point cloud. The required rigid transformation can then be estimated directly from the predicted correspondences without further post-processing. Despite its simplicity, our approach achieves state-of-the-art performance on 3DMatch and ModelNet benchmarks. Our source code can be found at https://github.com/yewzijian/RegTR .

研究动机与目标

• 消除点云配准中对 RANSAC 和最近邻特征匹配等后处理步骤的依赖。
• 探究注意力机制是否能够直接预测最终对应点，而非学习判别性特征。
• 通过端到端训练模型输出干净、刚性一致的对应点，提升配准精度与效率。
• 通过使用基于网格的下采样点并结合基于注意力的对应点预测，降低对高分辨率关键点采样和特征工程的依赖。
• 证明通过 Transformer 进行直接对应点预测优于传统结合学习特征与 RANSAC 的流水线方法。

提出的方法

• 使用点卷积主干网络对输入点云进行下采样并提取初始特征。
• 采用多层 Transformer，结合多头自注意力与交叉注意力机制，通过位置编码聚合全局上下文信息，并施加刚性约束。
• 对每个下采样点预测：(1) 其在另一组点云中的对应位置，(2) 重叠概率得分。
• 利用可微的最小二乘求解器，直接从预测对应点估计最终的刚性变换。
• 通过组合重叠损失（$\mathcal{L}_o$）、特征损失（$\mathcal{L}_f$）以及在最终 Transformer 层上的对比损失（Circle Loss）进行网络训练。
• 避免对中间层施加监督，以防止性能下降，仅在最终输出层应用损失。

实验结果

研究问题

• RQ1 Transformer 中的自注意力与交叉注意力机制是否能够在不显式进行特征匹配的情况下，直接预测最终的点对应关系？
• RQ2 基于 Transformer 的网络在端到端训练下进行对应点预测，是否能比传统结合 RANSAC 的流水线获得更高的配准精度？
• RQ3 与依赖最近邻匹配和 RANSAC 的方法相比，直接对应点预测在标准基准测试中的性能表现如何？
• RQ4 不同损失函数与监督策略对预测对应点质量的影响是什么？
• RQ5 当使用下采样后的基于网格的点时，更简单直接的预测方法是否能超越复杂的特征学习流水线？

主要发现

• 在 3DMatch 基准测试中，REGTR 实现了 92.0% 的配准召回率，超越了之前的最先进方法，并优于基于 RANSAC 的基线模型。
• 在 3DLoMatch 数据集中，REGTR 达到 64.8% 的配准召回率，展现出在低重叠、高挑战性场景中的强大泛化能力。
• 在 3DMatch 上，旋转误差降低至 1.567°，平移误差降低至 0.049m，优于所有基于 RANSAC 的基线模型与特征匹配方法。
• 消融实验表明，若移除特征损失，3DMatch 上的配准召回率将下降 1.6%，表明其对准确对应点预测至关重要。
• 若在所有 Transformer 层上应用损失而非仅在最终层，3DMatch 上性能将下降 8.1%，证实最终层监督为最优策略。
• 对 REGTR 预测的对应点应用 RANSAC 后结果仅略有下降，进一步验证了预测对应点本身已具备高度一致性和鲁棒性。