[论文解读] Point-set Distances for Learning Representations of 3D Point Clouds

Trung Nguyen, Quang-Hieu Pham+4 more|arXiv (Cornell University)|Feb 8, 2021

3D Shape Modeling and Analysis参考文献 54被引用 5

一句话总结

本文提出使用切片Wasserstein距离（SWD）及其变体作为学习3D点云表征时对Chamfer差异和Earth Mover’s Distance（EMD）的更优替代方案。通过利用高效的基于投影的估计方法，SWD在保持Chamfer类似计算效率的同时实现了EMD级别的精度，从而在自编码、生成建模、配准和迁移学习等任务中实现更快的收敛速度和更优的性能。

ABSTRACT

Learning an effective representation of 3D point clouds requires a good metric to measure the discrepancy between two 3D point sets, which is non-trivial due to their irregularity. Most of the previous works resort to using the Chamfer discrepancy or Earth Mover's distance, but those metrics are either ineffective in measuring the differences between point clouds or computationally expensive. In this paper, we conduct a systematic study with extensive experiments on distance metrics for 3D point clouds. From this study, we propose to use sliced Wasserstein distance and its variants for learning representations of 3D point clouds. In addition, we introduce a new algorithm to estimate sliced Wasserstein distance that guarantees that the estimated value is close enough to the true one. Experiments show that the sliced Wasserstein distance and its variants allow the neural network to learn a more efficient representation compared to the Chamfer discrepancy. We demonstrate the efficiency of the sliced Wasserstein metric and its variants on several tasks in 3D computer vision including training a point cloud autoencoder, generative modeling, transfer learning, and point cloud registration.

研究动机与目标

• 为解决Chamfer差异和EMD在深度学习中度量点云相似性时的局限性。
• 寻找一种兼具EMD的统计鲁棒性与Chamfer损失计算效率的度量方法。
• 开发一种适用于3D点云深度网络训练的高效、高精度的切片Wasserstein距离近似算法。
• 在包括自编码、生成、配准和迁移学习在内的多种3D计算机视觉任务中，实证验证所提出度量的有效性。

提出的方法

• 提出切片Wasserstein距离（SWD）作为可微分、计算高效的3D点云比较度量。
• 提出自适应切片Wasserstein（ASW）算法，通过最优投影采样确保估计值接近真实SWD值。
• 通过将3D点云随机投影到1D直线来计算SWD，降低维度的同时保留结构相似性。
• 采用SWD的平方版本（SSW）和最大切片变体（MSW），以提升训练中的鲁棒性与收敛性。
• 将SWD及其变体作为重建损失集成到自编码器中，替代Chamfer或EMD损失。
• 采用标准深度学习框架（如PointNet、PCN）在多种架构与数据集上评估方法性能。

实验结果

研究问题

• RQ1 切片Wasserstein距离在度量3D点云相似性用于表征学习时，与Chamfer差异和EMD相比表现如何？
• RQ2 一种计算高效的EMD变体——切片Wasserstein距离，是否能在泛化能力和收敛性上优于Chamfer损失？
• RQ3 所提出的自适应切片Wasserstein算法在训练过程中是否能提供可靠且准确的SWD真实值估计？
• RQ4 基于SWD的自编码器在下游3D视觉任务（如配准、生成和迁移学习）中的性能提升程度如何？
• RQ5 所提出的度量是否具备架构无关性，并在多种3D点云神经网络设计中均表现有效？

主要发现

• 切片Wasserstein距离（SWD）在理论上等价于Earth Mover’s Distance（EMD），确保统计一致性，同时保持O(N log N)的计算复杂度，与Chamfer损失相当。
• 所提出的自适应切片Wasserstein（ASW）算法可保证估计的SWD值接近真实值，从而支持可靠训练。
• 在ShapeNet和ModelNet40基准上，基于SWD的自编码器（SW-AE）在3DMatch点云配准任务中实现了57.4%的平均召回率，优于Chamfer（51.3%）和EMD（50.3%）基线。
• 在3D自编码任务中，SSW-AE在第300个训练周期的平均Chamfer距离为0.091，显著低于CD-AE（0.314）和EMD-AE（0.144），表明收敛速度更快。
• 在PCN架构上，使用SWD将ModelNet40分类准确率提升至88.78%，较Chamfer损失提升0.33%，同时重建误差降低65%。
• SWD训练每轮仅需138ms，优于EMD（385ms），与Chamfer（120ms）相当，证实其计算效率优势。