[论文解读] PointCutMix: Regularization Strategy for Point Cloud Classification

Jinlai Zhang, Lyujie Chen+6 more|arXiv (Cornell University)|Jan 5, 2021

3D Shape Modeling and Analysis被引用 7

一句话总结

PointCutMix 是一种用于 3D 点云分类的新型数据增强策略，通过最优传输技术，最优地在两个点云之间分配并替换点，生成合成训练样本。该方法显著提升了模型的准确率和鲁棒性，在计算开销极小的情况下，优于当前最先进的点云攻击防御方法。

ABSTRACT

As 3D point cloud analysis has received increasing attention, the insufficient scale of point cloud datasets and the weak generalization ability of networks become prominent. In this paper, we propose a simple and effective augmentation method for the point cloud data, named PointCutMix, to alleviate those problems. It finds the optimal assignment between two point clouds and generates new training data by replacing the points in one sample with their optimal assigned pairs. Two replacement strategies are proposed to adapt to the accuracy or robustness requirement for different tasks, one of which is to randomly select all replacing points while the other one is to select k nearest neighbors of a single random point. Both strategies consistently and significantly improve the performance of various models on point cloud classification problems. By introducing the saliency maps to guide the selection of replacing points, the performance further improves. Moreover, PointCutMix is validated to enhance the model robustness against the point attack. It is worth noting that when using as a defense method, our method outperforms the state-of-the-art defense algorithms. The code is available at:https://github.com/cuge1995/PointCutMix

研究动机与目标

• 解决深度学习中 3D 点云数据集规模有限且泛化能力差的问题。
• 开发一种保留形状复杂性并提升模型泛化能力的数据增强策略。
• 增强模型对点云攻击的鲁棒性，特别是针对点删除和扰动攻击。
• 探索 PointCutMix 作为无需修改对抗性输入的防御机制的应用。
• 将该方法扩展至物体级别分类与点级分割任务。

提出的方法

• 使用最优传输（通过 MSN）计算两个点云之间的最佳点对点对应关系。
• 提出两种替换策略：PointCutMix-R（随机选择所有点）和 PointCutMix-K（随机点的 k 个最近邻）。
• 引入显著性图以指导替换点的选择，提升性能。
• 在训练过程中应用该方法，生成融合两个点云结构特征的混合样本。
• 使用经过 PointCutMix 训练的预训练模型作为对抗性点云攻击的防御机制。
• 在不修改对抗性输入的前提下，评估模型在各类攻击下的鲁棒性，包括点删除、kNN 和扰动攻击。

Figure 1: Some mixed samples produced by PointCutMix-R (top row) and PointCutMix-K (bottom row). The data generated by PointCutMix-R looks like two objects cross each other while the samples from PointCutMix-K are the obvious combination of two object parts.

实验结果

研究问题

• RQ1 像 CutMix 这类混合样本数据增强策略能否被有效适配到无序的 3D 点云数据？
• RQ2 不同的替换策略（随机 vs. k-NN）对点云分类中模型性能与鲁棒性有何影响？
• RQ3 PointCutMix 是否能提升小规模点云数据集（如 ModelNet40 和 ModelNet10）上的泛化能力？
• RQ4 PointCutMix 在用作防御手段时，能在多大程度上增强模型对点云攻击的鲁棒性？
• RQ5 结合显著性图是否能进一步提升 PointCutMix 在指导替换点选择方面的有效性？

主要发现

• PointCutMix-R 和 PointCutMix-K 在多个主干网络上均持续提升了 ModelNet40 和 ModelNet10 的分类准确率。
• PointCutMix 显著提升了点云分割中稀有类别的性能，缓解了类别不平衡问题。
• 使用 PointCutMix 训练的模型在点删除攻击下仍保持超过 80% 的准确率，大幅优于基线方法 IF-Defense。
• PointCutMix-R 在 kNN 和扰动攻击防御中取得第二名成绩，性能紧随 SOTA 方法。
• 该方法在无需转换对抗性点云的前提下，优于当前最先进的防御算法，更具效率且更自然。
• 显著性图引导的替换策略进一步提升了性能，证实了注意力感知采样在 PointCutMix 中的价值。

Figure 2: The visualization of the mixed samples between a plane and a chair under different replacement ratio $\lambda$ . The samples in the first and second row are generated by PointCutMix-R and PointCutMix-K respectively.