[论文解读] PointMask: Towards Interpretable and Bias-Resilient Point Cloud Processing

Saeid Asgari Taghanaki, Kaveh Hassani+3 more|arXiv (Cornell University)|Jul 9, 2020

3D Shape Modeling and Analysis参考文献 29被引用 8

一句话总结

PointMask 是一种与模型无关的、可解释的信息瓶颈层，通过最小化互信息来学习屏蔽无关输入点，从而提升点云分类性能。它增强了模型对数据偏差和随机旋转的鲁棒性，在旋转后的 ModelNet40 上达到 82.18% 的准确率，优于 PointNet 及其他基线模型，同时实现了特征归因和减少类别混淆。

ABSTRACT

Deep classifiers tend to associate a few discriminative input variables with their objective function, which in turn, may hurt their generalization capabilities. To address this, one can design systematic experiments and/or inspect the models via interpretability methods. In this paper, we investigate both of these strategies on deep models operating on point clouds. We propose PointMask, a model-agnostic interpretable information-bottleneck approach for attribution in point cloud models. PointMask encourages exploring the majority of variation factors in the input space while gradually converging to a general solution. More specifically, PointMask introduces a regularization term that minimizes the mutual information between the input and the latent features used to masks out irrelevant variables. We show that coupling a PointMask layer with an arbitrary model can discern the points in the input space which contribute the most to the prediction score, thereby leading to interpretability. Through designed bias experiments, we also show that thanks to its gradual masking feature, our proposed method is effective in handling data bias.

研究动机与目标

• 为解决深度点云模型在分布偏移下可解释性不足和抗偏差能力弱的问题。
• 开发一种方法，在不改变主干架构的前提下识别并降低无关输入点的影响。
• 通过鼓励模型依赖多样化的输入特征而非少数判别性特征，提升泛化能力。
• 通过受控实验评估模型在数据偏差和随机旋转下的鲁棒性。
• 证明基于掩码的正则化方法在提升模型泛化能力方面优于 Dropout。

提出的方法

• PointMask 引入了一个可微的掩码层，通过基于变分推理的正则化方法学习抑制对预测贡献较低的点。
• 采用重参数化技巧从掩码值的高斯后验分布中采样，使反向传播能够通过掩码操作。
• 通过 KL 散度项最小化输入点与潜在特征之间的互信息，促进对多样化输入变化的探索。
• 通过输入点云与学习得到的类似二值的掩码进行逐元素相乘来应用掩码，有效过滤无关点。
• PointMap 是一种变体，将点映射到新空间而非掩码，从而在表示学习中引入替代的归纳偏置。
• 该框架与模型无关，可无缝集成到任何点云分类器（如 PointNet）中，无需修改架构。

实验结果

研究问题

• RQ1 可学习的掩码机制是否能通过识别最具影响力的输入点来提升点云模型的可解释性？
• RQ2 所提出的基于信息瓶颈的正则化方法是否能减少模型对训练数据中偏差或虚假特征的依赖？
• RQ3 在处理随机旋转等分布偏移时，PointMask 与标准正则化技术（如 Dropout）相比表现如何？
• RQ4 在旋转条件下，该掩码机制在多大程度上减少了视觉相似物体类别之间的混淆？
• RQ5 模型是否能在保持或提升准确率的同时，增强对数据偏差和输入扰动的鲁棒性？

主要发现

• 在随机旋转的 ModelNet40 上测试时，PointMask 达到 82.18% 的 top-1 准确率，优于 PointNet（76.87%）及其他基线模型。
• 该方法降低了相似类别间的混淆：花盆与植物的混淆率从 0.0% 降至 25.0%，水杯与花 vase 的混淆率从 35.0% 降至 30.0%。
• 移除 Dropout 层后，PointNet 的准确率从 76.87% 提升至 81.13%，但 PointMask 在相同测试中仍达到 82.18%。
• PointMask 的正则化效果优于 Dropout，表现为在旋转和偏差条件下均保持一致的性能提升。
• 当输入为 PointMask 处理后的点云时，PointNet 的输入变换模块产生了不同的旋转输出，表明归纳偏置发生变化，特征多样性得到提升。
• 可视化结果表明，PointMask 有效突出了最具预测力的点，实现了可解释性，并揭示了模型对特定几何特征的依赖。