[论文解读] RobustPointSet: A Dataset for Benchmarking Robustness of Point Cloud Classifiers

Saeid Asgari Taghanaki, Jieliang Luo+4 more|arXiv (Cornell University)|Nov 23, 2020

3D Shape Modeling and Analysis被引用 11

一句话总结

本文提出了 RobustPointSet，一个从 ModelNet40 衍生的基准数据集，用于在六种未见过的变换——噪声、部分缺失、遮挡、稀疏性、平移和旋转——下评估点云分类器的性能，且不依赖数据增强。主要发现是：没有任何一个模型在所有变换下始终优于其他模型，且在未见过的变换上，数据增强带来的性能提升微乎其微，凸显了当前模型在真实世界 3D 数据中鲁棒性的关键缺陷。

ABSTRACT

The 3D deep learning community has seen significant strides in pointcloud processing over the last few years. However, the datasets on which deep models have been trained have largely remained the same. Most datasets comprise clean, clutter-free pointclouds canonicalized for pose. Models trained on these datasets fail in uninterpretible and unintuitive ways when presented with data that contains transformations "unseen" at train time. While data augmentation enables models to be robust to "previously seen" input transformations, 1) we show that this does not work for unseen transformations during inference, and 2) data augmentation makes it difficult to analyze a model's inherent robustness to transformations. To this end, we create a publicly available dataset for robustness analysis of point cloud classification models (independent of data augmentation) to input transformations, called RobustPointSet. Our experiments indicate that despite all the progress in the point cloud classification, there is no single architecture that consistently performs better -- several fail drastically -- when evaluated on transformed test sets. We also find that robustness to unseen transformations cannot be brought about merely by extensive data augmentation. RobustPointSet can be accessed through https://github.com/AutodeskAILab/RobustPointSet.

研究动机与目标

• 为解决点云分类模型在未见输入变换下的鲁棒性评估不足问题。
• 创建一个独立于数据增强的数据集，以实现公平且可解释的鲁棒性分析。
• 通过实证方法证明：尽管在干净数据上表现优异，最先进模型在经过变换的测试集上仍会显著失效。
• 表明数据增强无法有效提升模型对未见变换的泛化能力。
• 为未来 3D 深度学习中的鲁棒性研究建立标准化基准。

提出的方法

• 通过在 ModelNet40 的基础上生成原始测试集的六个变换版本，每个版本应用一种不同的几何或损坏型变换。
• 应用真实感变换：随机噪声、通过轴对齐块删除造成的部分缺失、遮挡、稀疏性、平移和旋转。
• 设计两种评估协议：在变换后的数据集上进行标准评估，以及留一法验证以测试跨变换的泛化能力。
• 在所有实验中使用相同的训练集，以隔离测试时变换对模型性能的影响。
• 采用标准点云分类架构（如 PointNet、DGCNN、PointNet++）在受控条件下进行基准测试。
• 通过各类变换下的分类准确率量化鲁棒性，并在相同设置下比较不同模型的表现。

实验结果

研究问题

• RQ1 最先进点云分类器能否泛化到训练过程中未出现的未见变换？
• RQ2 数据增强在多大程度上能提升点云分类中对未见变换的鲁棒性？
• RQ3 是否存在一种模型架构能在各种变换下始终优于其他模型？
• RQ4 不同类型的输入损坏（如噪声、部分缺失、遮挡）如何影响模型性能？
• RQ5 一个独立于数据增强的基准数据集能否实现更可靠且可解释的鲁棒性评估？

主要发现

• PointNet 和 DGCNN 在原始测试集上分别取得最高平均准确率（89.06% 和 92.52%），但在变换后的数据集上性能显著下降。
• 在噪声测试集上，PointNet 准确率下降至 74.72%，而 DGCNN 下降至 57.56%，表明对噪声的鲁棒性极差。
• 即使是对旋转不变的模型（如 SPHnet 和 PRIN），性能也出现严重退化，SPHnet 在噪声集上准确率降至 7.22%。
• 留一法验证显示，当在多种变换类型上进行训练时，性能仅略有提升（平均最高提升 10%），表明泛化收益有限。
• 没有任何一个模型在所有变换类型上始终优于其他模型，揭示了当前架构缺乏普遍鲁棒性。
• 所有变换下的平均准确率，PointNet 为 61.97%，DGCNN 为 60.74%，凸显了对鲁棒性感知设计的迫切需求。