[论文解读] Multi-View Partial (MVP) Point Cloud Challenge 2021 on Completion and Registration: Methods and Results

Liang Pan, Tong Wu+27 more|arXiv (Cornell University)|Dec 22, 2021

3D Shape Modeling and Analysis被引用 11

一句话总结

本文介绍了2021年多视角部分点云（MVP）点云挑战赛的结果与方法，聚焦于单视角点云补全与部分到部分的点云配准。表现最佳的方法，包括PoinTr++和基于图神经网络（GNN）的配准模型，利用注意力机制、迭代优化和可微匹配，在包含10万个虚拟扫描部分点云的大规模数据集上实现了最先进性能，其中最佳补全方法的Chamfer距离达到5.01×10⁻⁴。

ABSTRACT

As real-scanned point clouds are mostly partial due to occlusions and viewpoints, reconstructing complete 3D shapes based on incomplete observations becomes a fundamental problem for computer vision. With a single incomplete point cloud, it becomes the partial point cloud completion problem. Given multiple different observations, 3D reconstruction can be addressed by performing partial-to-partial point cloud registration. Recently, a large-scale Multi-View Partial (MVP) point cloud dataset has been released, which consists of over 100,000 high-quality virtual-scanned partial point clouds. Based on the MVP dataset, this paper reports methods and results in the Multi-View Partial Point Cloud Challenge 2021 on Completion and Registration. In total, 128 participants registered for the competition, and 31 teams made valid submissions. The top-ranked solutions will be analyzed, and then we will discuss future research directions.

研究动机与目标

• 通过真实世界的部分扫描数据，推动3D点云补全与配准技术的最先进水平。
• 在包含超过10万个扫描的大型、高质量多视角部分点云数据集上，评估基于学习的方法。
• 通过标准化的训练与评估协议建立公平基准，限制外部预训练。
• 识别表现最佳的网络架构，并分析其设计选择以指导未来研究。
• 探索当前指标（如Chamfer距离）的局限性，并建议使用BCD或EMD作为更可靠的替代指标。

提出的方法

• 补全赛道采用基于Transformer的架构（PoinTr++），结合迭代优化模块，用于去噪与优化预测点云。
• 最佳配准方法采用图神经网络（GNN），配备跨图连接与ISS（迭代采样与选择）模块，以增强对应关系学习能力。
• 使用可微Sinkhorn算法生成置信度图，实现可微的、软性的对应关系学习。
• 采用多分支损失函数，结合交叉熵损失（用于内点分数）、尖峰损失（用于重叠置信度）与基于置信度的匹配损失。
• 训练阶段通过随机采样将数据增强至1,024个点，并通过等量正负对应关系实现平衡，以提升鲁棒性。
• 推理阶段，模型保留2,048个点，并选择置信度最高的前50%双向对应关系，通过SVD计算最终变换矩阵。

实验结果

研究问题

• RQ1 注意力机制与GNN架构在部分点云补全任务中的性能与鲁棒性如何比较？
• RQ2 可微匹配与基于置信度的对应关系学习在部分到部分配准中能提升多少性能？
• RQ3 迭代优化与多尺度特征学习是否能显著提升在高度不完整扫描中的补全质量？
• RQ4 当前指标（如Chamfer距离）如何导致补全结果偏向于部分观测，是否存在更可靠的替代指标？
• RQ5 哪些关键的架构与训练设计选择促成了点云补全与配准任务中的最先进性能？

主要发现

• 最佳补全方法PoinTr++在测试集上的Chamfer距离达到5.01×10⁻⁴，优于基线模型。
• 第二名方法TSPCC采用IOI增强与多尺度SPD模块，提升了语义感知补全性能。
• 最佳配准方法在MVP测试集上（无噪声）实现2.5008°的旋转误差与0.0305的平移误差。
• 在含噪声数据上，最佳配准模型仍保持3.2183°的旋转误差，表现出对输入退化的鲁棒性。
• 第三名方法通过引入跨图连接与ISS模块，提升了匹配质量，尤其在低重叠场景中表现更优。
• 尽管性能优异，顶尖方法仍需大量训练（最多1,500个周期）且计算开销大，表明在效率方面仍有改进空间。