[论文解读] PoinTr: Diverse Point Cloud Completion with Geometry-Aware Transformers

Xumin Yu, Yongming Rao+4 more|arXiv (Cornell University)|Aug 19, 2021

3D Shape Modeling and Analysis参考文献 45被引用 25

一句话总结

PoinTr 将点云补全重新表述为集合到集合的转换，使用带有点代理的几何感知 Transformer， 在包括 ShapeNet-55/34、PCN 和 KITTI 的多种基准测试上实现了最先进的结果。

ABSTRACT

Point clouds captured in real-world applications are often incomplete due to the limited sensor resolution, single viewpoint, and occlusion. Therefore, recovering the complete point clouds from partial ones becomes an indispensable task in many practical applications. In this paper, we present a new method that reformulates point cloud completion as a set-to-set translation problem and design a new model, called PoinTr that adopts a transformer encoder-decoder architecture for point cloud completion. By representing the point cloud as a set of unordered groups of points with position embeddings, we convert the point cloud to a sequence of point proxies and employ the transformers for point cloud generation. To facilitate transformers to better leverage the inductive bias about 3D geometric structures of point clouds, we further devise a geometry-aware block that models the local geometric relationships explicitly. The migration of transformers enables our model to better learn structural knowledge and preserve detailed information for point cloud completion. Furthermore, we propose two more challenging benchmarks with more diverse incomplete point clouds that can better reflect the real-world scenarios to promote future research. Experimental results show that our method outperforms state-of-the-art methods by a large margin on both the new benchmarks and the existing ones. Code is available at https://github.com/yuxumin/PoinTr

研究动机与目标

• 动机与解决由于遮挡、传感器有限和视角导致的真实世界点云不完整问题。
• 将点云补全重新表述为集合到集合的转换任务。
• 利用带有几何感知块的 Transformer 编码-解码器来学习三维结构关系。
• 开发新的具有挑战性的基准测试，以更好地反映真实世界的不完整性和多样性。

提出的方法

• 将部分点云表示为一系列点代理，输入到 Transformer 编码-解码器。
• 引入一个几何感知的 Transformer 块，利用基于 kNN 的方法显式建模局部三维几何关系。
• 在解码器中使用动态、由编码器条件化的查询来生成缺失的点代理。
• 使用多尺度生成模块，利用 FoldingNet 的粗到细方式重建缺失部件。
• 用 Chamfer Distance 损失同时对代理中心和完整点云进行优化（J = J0 + J1）。

实验结果

研究问题

• RQ1 变换器是否能够有效建模点云补全的远程和局部几何依赖？
• RQ2 引入几何感知块和动态查询是否能提升补全质量并提高对多样形状和不同不完整程度的泛化？
• RQ3 新的多样化基准测试是否更能揭示模型在真实世界场景中的鲁棒性和泛化能力？
• RQ4 在不同类别和视角下，PoinTr 相对于以往的最先进方法的表现如何？
• RQ5 在微调后，该方法是否能够从基于 ShapeNet 的基准推广到真实世界的 LiDAR 数据（KITTI）？

主要发现

• PoinTr 在包括 ShapeNet-55、ShapeNet-34、PCN 和 KITTI 在内的多个基准上显著超越先前的最先进方法。
• 在 ShapeNet-55 上，PoinTr 相对于 GRNet 在 Simple、Moderate、Hard 设置的 CD-ell2 有显著提升（分别为 0.58、0.60、0.69）。
• 在 ShapeNet-55 上，PoinTr 达到 0.46 的 F-Score，而之前最好的是 GRNet 的 0.24。
• 在 ShapeNet-34 可见类别上，PoinTr 领跑所有方法；对未见类别也有较好的泛化，在简单设置下性能下降较小。
• 在 PCN 上，PoinTr 在各类别的 CD-ell1 平均为 8.38，优于 FoldingNet、PCN、TopNet、PFNet、GRNet 等。
• 定性结果显示 PoinTr 能恢复更细的细节和边界（如汽车轮胎），对各种不完整模式更具鲁棒性。