[论文解读] Robust Models Are More Interpretable Because Attributions Look Normal

Zifan Wang, Matt Fredrikson+1 more|arXiv (Cornell University)|Mar 20, 2021

Adversarial Robustness in Machine Learning参考文献 48被引用 6

一句话总结

本文提出了边界归因方法——具体为基于边界的显著性图（BSM）和基于边界的积分梯度（BIG）——通过利用局部决策边界的法向量，生成更清晰、更集中的解释。研究表明，鲁棒模型能产生更具可解释性的归因，因为其平滑的决策边界使梯度与法向量对齐；并证明BIG通过减少基线敏感性并增强特征定位能力，在鲁棒与非鲁棒模型上均提升了归因质量。

ABSTRACT

Recent work has found that adversarially-robust deep networks used for image classification are more interpretable: their feature attributions tend to be sharper, and are more concentrated on the objects associated with the image's ground-truth class. We show that smooth decision boundaries play an important role in this enhanced interpretability, as the model's input gradients around data points will more closely align with boundaries' normal vectors when they are smooth. Thus, because robust models have smoother boundaries, the results of gradient-based attribution methods, like Integrated Gradients and DeepLift, will capture more accurate information about nearby decision boundaries. This understanding of robust interpretability leads to our second contribution: \emph{boundary attributions}, which aggregate information about the normal vectors of local decision boundaries to explain a classification outcome. We show that by leveraging the key factors underpinning robust interpretability, boundary attributions produce sharper, more concentrated visual explanations -- even on non-robust models. Any example implementation can be found at \url{https://github.com/zifanw/boundary}.

研究动机与目标

• 通过分析模型梯度与决策边界法向量之间的几何关系，解释为何对抗性鲁棒模型会产生比标准模型更具可解释性的特征归因。
• 开发基于边界的归因方法，将鲁棒模型的可解释性优势推广至非鲁棒模型。
• 通过整合附近决策边界的资讯，提升基于梯度的解释在锐度、集中度和准确性方面的表现。
• 通过使用边界投影路径替代全局基线，缓解积分梯度固有的基线敏感性问题。
• 为将局部决策边界几何结构作为模型解释的基础，提供理论与实证支持。

提出的方法

• 提出基于边界的显著性图（BSM），通过将输入梯度投影到最近的决策边界法向量上计算归因，提供闭式理论保证。
• 引入基于边界的积分梯度（BIG），沿从最近决策边界点到输入的路径积分梯度，聚合附近边界的资讯。
• 使用最近决策边界的法向量作为模型输出曲面局部几何的真实代理，提升与相关特征的对齐度。
• 形式化梯度对齐与决策边界平滑度之间的联系，表明鲁棒模型具有更平滑的边界，能更好地与梯度对齐。
• 将BIG应用于非鲁棒模型，证明其在不依赖任意基线输入的前提下，可生成更锐利、更集中的归因。
• 使用边界框定位指标进行实证评估，将归因与真实物体区域进行比较，验证其更高的准确性。

实验结果

研究问题

• RQ1 为何对抗性鲁棒模型中的特征归因比标准模型更具可解释性？
• RQ2 决策边界的平滑度在多大程度上影响模型梯度与边界法向量之间的对齐程度？
• RQ3 我们能否设计出能捕捉局部决策边界几何结构的归因方法，以提升非鲁棒模型的解释质量？
• RQ4 与积分梯度相比，边界归因在多大程度上减少了对基线选择的敏感性？
• RQ5 边界归因能否实现比现有归因方法更优的相关特征定位效果？

主要发现

• 由于决策边界更平滑，鲁棒模型在输入梯度与局部决策边界法向量之间表现出更强的对齐性，这解释了其可解释性增强的原因。
• 基于边界的显著性图（BSM）通过将梯度投影到最近的边界法向量上，提供了一个理论基础坚实的归因方法，确保几何一致性。
• 基于边界的积分梯度（BIG）在鲁棒与非鲁棒模型上均生成了比标准积分梯度更锐利、更集中、更少噪声的视觉解释。
• BIG通过从最近的边界点而非全局基线开始路径积分，显著降低了积分梯度中已知的基线敏感性问题。
• 实证评估表明，BIG在相对于真实边界框的定位性能上表现更优，在定量指标上超越了先前的归因方法。
• 所提出的边界归因框架通过利用决策边界的局部几何结构，将鲁棒模型的可解释性优势推广至非鲁棒模型。