[论文解读] PointAugment: an Auto-Augmentation Framework for Point Cloud Classification

Ruihui Li, Xianzhi Li+2 more|arXiv (Cornell University)|Feb 25, 2020

3D Shape Modeling and Analysis参考文献 53被引用 18

一句话总结

PointAugment 是一种用于 3D 点云分类的端到端、样本感知的自动增强框架，通过对抗性学习联合优化增强器和分类器。它为每个样本学习形状相关的变换和点级位移，根据分类器反馈动态调整增强策略，显著提升了在 ModelNet40 和 SHREC16 上多个网络的分类准确率。

ABSTRACT

We present PointAugment, a new auto-augmentation framework that automatically optimizes and augments point cloud samples to enrich the data diversity when we train a classification network. Different from existing auto-augmentation methods for 2D images, PointAugment is sample-aware and takes an adversarial learning strategy to jointly optimize an augmentor network and a classifier network, such that the augmentor can learn to produce augmented samples that best fit the classifier. Moreover, we formulate a learnable point augmentation function with a shape-wise transformation and a point-wise displacement, and carefully design loss functions to adopt the augmented samples based on the learning progress of the classifier. Extensive experiments also confirm PointAugment's effectiveness and robustness to improve the performance of various networks on shape classification and retrieval.

研究动机与目标

• 为解决 3D 点云数据集多样性有限且规模较小的问题，这些问题会阻碍深度网络的泛化能力。
• 克服传统数据增强方法性能不佳的问题，这些方法对所有样本应用固定且非自适应的变换。
• 开发一种端到端框架，联合优化数据增强和分类训练，以提升模型的鲁棒性和准确率。
• 使增强器能够生成针对特定样本的自适应增强，以在训练过程中最大化分类器性能。

提出的方法

• 该框架采用对抗性学习策略，以端到端方式联合训练增强器网络和分类器网络。
• 增强器使用共享的多层感知机（MLP）从点级特征中学习形状相关的变换矩阵和点级位移向量。
• 一个可学习的增强函数结合全局变换和局部位移，生成多样化且逼真的点云变化。
• 一个动态损失函数平衡分类器和增强器的目标，其中超参数 λ 根据分类器的学习进度调整增强的强度。
• 增强器利用分类器损失的反馈来优化其增强策略，确保生成的样本能有效挑战分类器而不导致过拟合。
• 该方法模块化，可与多种主干网络兼容，包括 PointNet、PointNet++、DGCNN 和 RSCNN。

实验结果

研究问题

• RQ1 一种联合优化增强和分类的自动增强框架，是否能在 3D 点云分类上超越固定数据增强基线方法？
• RQ2 样本感知增强（即根据点云复杂度定制增强策略）对模型泛化能力和准确率有何影响？
• RQ3 增强强度与分类器学习进度之间的最优权衡是什么？如何在训练过程中实现动态控制？
• RQ4 该框架在不同网络架构和基准数据集上的表现如何？

主要发现

• 在 ModelNet40 上，PointAugment 在四种最先进网络上均实现了稳定的准确率提升，相较于传统数据增强方法，准确率提升范围为 0.8% 至 1.4%。
• 在 ModelNet40 上，PointNet++ 使用 PointAugment 时达到 92.9% 的准确率，而未使用时为 92.1%，显示出显著的性能提升。
• 该框架在 SHREC16 检索基准上也提升了性能，证实了其在分类任务之外的有效性。
• 消融实验表明，使用 MLP 进行特征提取的性能优于更复杂的单元（如 EdgeConv 或 DenseConv），因为其过拟合风险更低。
• 最优超参数 λ = 1.0 能够平衡分类器与增强器的目标；若 λ 过低或过高，性能均会下降。
• 该框架对不同的特征提取单元具有鲁棒性，并保持了强大的泛化能力，表明其设计具有模块化和可扩展性。