[论文解读] PointCloud Saliency Maps

Tianhang Zheng, Changyou Chen+3 more|arXiv (Cornell University)|Nov 28, 2018

Advanced Neural Network Applications参考文献 30被引用 7

一句话总结

本文提出一种可微分方法，通过基于梯度的点向点云质心移动来近似点删除，从而生成点云显著性图，实现精确、高效的点级与子集级重要性评分。该方法在降低模型准确率方面优于随机删除和基于关键子集的点删除策略，证明其在PointNet、PointNet++和DGCNN模型中识别显著点与显著区域方面具有更优保真度。

ABSTRACT

3D point-cloud recognition with PointNet and its variants has received remarkable progress. A missing ingredient, however, is the ability to automatically evaluate point-wise importance w.r.t.\! classification performance, which is usually reflected by a saliency map. A saliency map is an important tool as it allows one to perform further processes on point-cloud data. In this paper, we propose a novel way of characterizing critical points and segments to build point-cloud saliency maps. Our method assigns each point a score reflecting its contribution to the model-recognition loss. The saliency map explicitly explains which points are the key for model recognition. Furthermore, aggregations of highly-scored points indicate important segments/subsets in a point-cloud. Our motivation for constructing a saliency map is by point dropping, which is a non-differentiable operator. To overcome this issue, we approximate point-dropping with a differentiable procedure of shifting points towards the cloud centroid. Consequently, each saliency score can be efficiently measured by the corresponding gradient of the loss w.r.t the point under the spherical coordinates. Extensive evaluations on several state-of-the-art point-cloud recognition models, including PointNet, PointNet++ and DGCNN, demonstrate the veracity and generality of our proposed saliency map. Code for experiments is released on \url{https://github.com/tianzheng4/PointCloud-Saliency-Maps}.

研究动机与目标

• 为解决3D点云分类中自动评估点级重要性的方法缺失问题。
• 开发一种可泛化的显著性图，量化每个点对模型预测损失的贡献。
• 通过连续可微的移动过程近似点删除的不可微性，克服其非可微性问题。
• 通过迭代点删除实验验证显著性图的准确性，观察模型性能的退化或提升。
• 在多个最先进模型上展示该方法相较于随机删除和基于关键子集的删除策略的优越性。

提出的方法

• 通过在球坐标系中连续将点向点云质心移动，近似不可微的点删除操作。
• 将显著性分数计算为模型损失相对于球坐标系中每个点位置的梯度。
• 使用缩放因子 α 控制梯度近似对点位移的敏感度。
• 应用迭代点删除算法：通过删除显著性分数最高（高删除）或最低（低删除）的点，验证显著性图的准确性。
• 使用球坐标表示每个点的贡献，确保梯度计算过程中的几何一致性。
• 通过比较高删除策略与随机或关键子集删除策略下的性能退化情况，验证显著性图的有效性。

实验结果

研究问题

• RQ1 可微分的点删除近似是否能有效估计3D点云中点的点级重要性？
• RQ2 所提出的显著性图是否能准确识别显著影响模型预测的关键点与关键区域？
• RQ3 基于显著性图的点删除策略在模型性能退化或提升方面，相较于随机删除与关键子集删除策略表现如何？
• RQ4 该显著性图是否能在PointNet、PointNet++和DGCNN等不同3D点云模型上实现泛化？
• RQ5 显著性分数是否与人类对点云中显著结构的感知一致？

主要发现

• 在3D-MNIST/ModelNet40数据集上，删除显著性分数最高的200/1024个点后，PointNet的准确率分别降至49.2%和44.3%，显著优于随机删除（分别为94.8%和87.7%）。
• 基于关键子集的策略在相同数据集上使PointNet准确率降至80.0%和58.1%，证实了本方法在识别关键点方面具有更高的准确性。
• 在PointNet++上，当删除1024个点时，本方法使准确率降至59.5%，而随机删除的准确率维持在88–90%，表明性能退化具有一致性。
• 在DGCNN上，删除1024个点后，本方法使准确率降至64.2%，而随机删除的准确率维持在89–91%，表明显著性图捕捉到了更具相关性的结构信息。
• 显著性图成功识别出如灯座等显著区域，在可视化中与人类直觉一致。
• 低删除（删除显著性分数最低的点）在视觉上类似于去噪操作，并在某些情况下纠正了误分类，证实了该方法在数据清洗中的实用性。