[论文解读] PointMixup: Augmentation for Point Clouds

Yunlu Chen, Vincent Tao Hu+5 more|arXiv (Cornell University)|Aug 14, 2020

3D Shape Modeling and Analysis参考文献 3被引用 4

一句话总结

本文提出 PointMixup，一种新颖的点云数据增强方法，通过最优点对点匹配最小化地球移动距离（EMD），实现在无序点集之间的线性插值。通过将插值问题形式化为 EMD 度量空间中的最短路径问题，PointMixup 实现了有效的 mixup 和流形 mixup 正则化，在点云分类任务中显著提升了泛化能力和鲁棒性，尤其在低数据量和噪声环境下表现突出。

ABSTRACT

This paper introduces data augmentation for point clouds by interpolation between examples. Data augmentation by interpolation has shown to be a simple and effective approach in the image domain. Such a mixup is however not directly transferable to point clouds, as we do not have a one-to-one correspondence between the points of two different objects. In this paper, we define data augmentation between point clouds as a shortest path linear interpolation. To that end, we introduce PointMixup, an interpolation method that generates new examples through an optimal assignment of the path function between two point clouds. We prove that our PointMixup finds the shortest path between two point clouds and that the interpolation is assignment invariant and linear. With the definition of interpolation, PointMixup allows to introduce strong interpolation-based regularizers such as mixup and manifold mixup to the point cloud domain. Experimentally, we show the potential of PointMixup for point cloud classification, especially when examples are scarce, as well as increased robustness to noise and geometric transformations to points. The code for PointMixup and the experimental details are publicly available.

研究动机与目标

• 解决将 mixup 风格的数据增强应用于缺乏点与点之间一一对应关系的点云所面临的挑战。
• 开发一种方法，实现在无序、排列不变的点云之间进行有意义的插值，以实现有效的数据增强。
• 通过确保线性且与分配无关的插值，使 mixup 和流形 mixup 等强大正则化技术能够在点云领域中得以应用。
• 提升点云分类中的泛化能力和鲁棒性，特别是在数据稀缺和噪声环境下的表现。
• 设计一种与模型无关的数据增强方法，兼容多种点云架构，包括 PointNet 和 PointNet++。

提出的方法

• 将点云插值定义为在地球移动距离（EMD）度量空间中的最短路径问题，确保对应点之间的移动成本最小化。
• 提出 PointMixup 作为一种最优分配（OA）插值策略，通过计算双射对应关系以最小化两组点云之间的总位移。
• 证明 PointMixup 在 EMD 空间中实现线性插值，并且对插值比例下点的重排或分配变化保持不变。
• 利用最优分配生成混合点云，通过按混合比例 λ 组合来自两个源点云的点，同时对标签进行线性插值。
• 将生成的混合样本用于训练模型，结合 mixup 或流形 mixup 正则化器，提升泛化能力，且无需修改网络架构。
• 证明 PointMixup 在性能上优于其他插值策略（如点采样，PS），后者在如 PointNet 这类密度不变模型上因特征表示不一致而失效。

实验结果

研究问题

• RQ1 能否将基于插值的数据增强有效扩展到无序点云数据中，其中点之间不存在一一对应关系？
• RQ2 如何在两个点云之间定义最短路径插值，以确保数据增强具有意义且稳定？
• RQ3 所提出的 PointMixup 方法是否在不同插值比例下保持线性和分配不变性，从而实现有效的 mixup 正则化？
• RQ4 PointMixup 如何提升点云分类中的模型泛化能力和鲁棒性，特别是在数据稀缺或存在噪声的情况下？
• RQ5 PointMixup 是否可与多种点云网络配合使用而无需修改架构？其与现有增强基线相比表现如何？

主要发现

• 在 ModelNet40 数据集上使用 PointNet 时，PointMixup 相较基线模型实现了 0.7% 的准确率提升，证明了其在标准分类任务中泛化能力的增强。
• 在 PointNet++ 上，PointMixup 达到 90.8% 的准确率，优于基线（89.2%）及其他插值方法（如点采样，88.7%）。
• PointMixup 提升了对几何变换和噪声的鲁棒性，在多种噪声水平和数据扰动下均表现出一致的性能增益。
• 该方法在少样本学习和半监督学习设置中表现有效，当标注数据有限时展现出显著的正则化优势。
• PointMixup 具备模型无关性，兼容多种架构（包括 PointNet 和 PointNet++），且优于对密度敏感的替代方法（如点采样）。
• 理论分析证实，PointMixup 在 EMD 空间中形成最短路径，并保持线性插值特性，为其作为正则化器的有效性提供了理论依据。