[论文解读] SageMix: Saliency-Guided Mixup for Point Clouds

Sanghyeok Lee, Min-Kyu Jeon+3 more|arXiv (Cornell University)|Oct 13, 2022

3D Shape Modeling and Analysis被引用 13

一句话总结

SageMix 提出了一种新颖的显著性引导混合方法，用于3D点云数据增强，通过使用重加权显著性分数进行顺序采样，保留了判别性局部结构。该方法实现了最先进性能，在ModelNet40上将PointNet++的准确率提升2.6%，在ScanObjectNN上提升4.0%，同时确保了平滑、连续的混合过程，无需额外优化。

ABSTRACT

Data augmentation is key to improving the generalization ability of deep learning models. Mixup is a simple and widely-used data augmentation technique that has proven effective in alleviating the problems of overfitting and data scarcity. Also, recent studies of saliency-aware Mixup in the image domain show that preserving discriminative parts is beneficial to improving the generalization performance. However, these Mixup-based data augmentations are underexplored in 3D vision, especially in point clouds. In this paper, we propose SageMix, a saliency-guided Mixup for point clouds to preserve salient local structures. Specifically, we extract salient regions from two point clouds and smoothly combine them into one continuous shape. With a simple sequential sampling by re-weighted saliency scores, SageMix preserves the local structure of salient regions. Extensive experiments demonstrate that the proposed method consistently outperforms existing Mixup methods in various benchmark point cloud datasets. With PointNet++, our method achieves an accuracy gain of 2.6% and 4.0% over standard training in 3D Warehouse dataset (MN40) and ScanObjectNN, respectively. In addition to generalization performance, SageMix improves robustness and uncertainty calibration. Moreover, when adopting our method to various tasks including part segmentation and standard 2D image classification, our method achieves competitive performance.

研究动机与目标

• 解决现有有效数据增强技术在3D点云中难以保留局部结构的问题。
• 克服现有混合方法（如PointMixup和RSMix）在保持显著区域或生成连续样本方面的局限性。
• 开发一种轻量级、无需优化的显著性估计与采样策略，以指导点云中的混合过程。
• 通过显著性感知的数据增强，提升3D视觉任务中模型的泛化能力、鲁棒性与不确定性校准性能。
• 证明该方法在其他任务中的可迁移性，包括2D图像分类与部件分割。

提出的方法

• 利用损失函数的梯度归因方法，为点云中每个点估计显著性分数。
• 应用重加权显著性分数进行顺序采样，选择关键点以定义显著区域，避免求解复杂的优化问题。
• 通过实例特定的混合比率 $\lambda_i$ 对点进行逐点线性插值，生成增强后的点云，其中 $\lambda_i$ 由到采样查询点的距离决定。
• 通过优先考虑结构连续性，确保源形状之间的平滑过渡。
• 将该方法无缝集成到标准训练流程中，无需网络架构修改，支持与PointNet++和DGCNN等模型即插即用。
• 通过将相同的显著性引导采样与插值方法应用于图像块，将该框架扩展至2D图像分类任务。

实验结果

研究问题

• RQ1 显著性引导的混合方法能否通过保留判别性局部结构，提升3D点云分类任务中的泛化能力？
• RQ2 与现有混合方法（如PointMixup、RSMix）相比，SageMix在结构保留与样本连续性方面表现如何？
• RQ3 所提出的显著性引导采样策略是否相比基于优化的方法（如Co-Mixup或PuzzleMix）显著降低计算开销？
• RQ4 SageMix在点云学习中对模型鲁棒性与不确定性校准的提升程度如何？
• RQ5 该框架是否可有效应用于2D图像分类与部件分割任务？

主要发现

• 在ModelNet40（MN40）数据集上，SageMix在PointNet++上相比标准训练实现了2.6%的准确率提升。
• 在ScanObjectNN数据集上，SageMix相比标准训练将PointNet++的准确率提升了4.0%。
• 该方法提升了模型的鲁棒性与不确定性校准性能，表现为更低的期望校准误差（ECE）和更高的可靠性图性能。
• 在CIFAR-100的2D图像分类任务中，SageMix使用PreActResNet18实现了80.16%的top-1准确率，优于所有先前的混合基线方法，包括Co-Mixup（80.13%）和SaliencyMix（79.06%）。
• 由于其高效的采样策略，SageMix在CIFAR-100上的每轮训练速度比Co-Mixup快6.05倍，避免了昂贵的优化步骤。
• 该方法在部件分割任务中也表现出良好的泛化能力，在无需架构修改的情况下，于多个基准上均实现了稳定提升。