[论文解读] Rethinking the Role of Gradient-Based Attribution Methods for Model Interpretability

Suraj Srinivas, François Fleuret|arXiv (Cornell University)|Jun 16, 2020

Explainable Artificial Intelligence (XAI)参考文献 37被引用 7

一句话总结

本文表明，深度学习中的基于梯度的归因方法并非与判别模型的决策函数内在关联，而是反映了类别条件数据分布的隐式生成模型。通过使用得分匹配（score-matching）将此隐式密度模型与真实数据分布对齐，作者证明了基于梯度的解释变得更加结构化和可解释，表明显著性图的可靠性源于训练过程中无意的密度对齐，而非判别函数的直接可解释性。

ABSTRACT

Current methods for the interpretability of discriminative deep neural networks commonly rely on the model's input-gradients, i.e., the gradients of the output logits w.r.t. the inputs. The common assumption is that these input-gradients contain information regarding $p_θ ( y \mid x)$, the model's discriminative capabilities, thus justifying their use for interpretability. However, in this work we show that these input-gradients can be arbitrarily manipulated as a consequence of the shift-invariance of softmax without changing the discriminative function. This leaves an open question: if input-gradients can be arbitrary, why are they highly structured and explanatory in standard models? We investigate this by re-interpreting the logits of standard softmax-based classifiers as unnormalized log-densities of the data distribution and show that input-gradients can be viewed as gradients of a class-conditional density model $p_θ(x \mid y)$ implicit within the discriminative model. This leads us to hypothesize that the highly structured and explanatory nature of input-gradients may be due to the alignment of this class-conditional model $p_θ(x \mid y)$ with that of the ground truth data distribution $p_{ ext{data}} (x \mid y)$. We test this hypothesis by studying the effect of density alignment on gradient explanations. To achieve this alignment we use score-matching, and propose novel approximations to this algorithm to enable training large-scale models. Our experiments show that improving the alignment of the implicit density model with the data distribution enhances gradient structure and explanatory power while reducing this alignment has the opposite effect. Overall, our finding that input-gradients capture information regarding an implicit generative model implies that we need to re-think their use for interpreting discriminative models.

研究动机与目标

• 调查为何基于梯度的归因方法在理论上可被任意操纵而不影响模型性能的情况下，仍能产生高度结构化且直观的解释。
• 检验输入梯度的解释能力是否源于隐式类别条件密度模型与真实数据分布之间的对齐。
• 开发实用的得分匹配近似方法，以实现大规模模型中受控密度对齐的训练，用于可解释性分析。
• 通过隐式密度建模的视角，而非判别函数解释的视角，重新评估常见的可解释性工具（如显著性图和像素扰动）。

提出的方法

• 将标准Softmax分类器的logits重新解释为未归一化的对数密度，揭示判别网络中隐含的类别条件密度模型pθ(x|y)。
• 使用得分匹配训练模型，实现隐式密度模型与真实数据分布p_data(x|y)之间的受控对齐。
• 提出新颖的得分匹配近似方法，消除昂贵的Hessian矩阵计算，使大规模模型的训练成为可能。
• 引入梯度范数正则化作为隐式密度建模的代理，证明其可在无需显式密度训练的情况下改善梯度结构。
• 通过定量的像素扰动测试和不同模型间梯度图的定性可视化，评估基于梯度的解释。
• 比较基线模型、得分匹配模型、反向得分匹配模型以及梯度范数正则化模型的输入梯度，以隔离密度对齐的影响。

实验结果

研究问题

• RQ1 由于Softmax的平移不变性，输入梯度是否可以被任意操纵而不改变判别模型的性能？
• RQ2 为何在标准预训练模型中，输入梯度始终具有结构化且直观的特性，尽管其理论上具有任意性？
• RQ3 提升隐式密度模型与真实数据分布之间的对齐程度，是否能增强输入梯度的结构和解释能力？
• RQ4 得分匹配和梯度范数正则化是否可在实践中用于控制基于梯度的解释质量？

主要发现

• 通过Softmax的平移不变性，输入梯度可被任意操纵而不改变判别模型性能，证明其缺乏唯一性。
• 与基线模型相比，得分匹配模型产生的输入梯度在结构和可解释性上显著更优，该结论得到定性可视化和定量像素扰动测试的双重验证。
• 反向得分匹配模型（减少密度对齐）产生最嘈杂且最不可解释的梯度，验证了密度对齐可提升解释质量的假设。
• 梯度范数正则化模型的梯度也比基线模型更具感知一致性，表明权重衰减或优化动态可能隐式实现密度建模。
• 当用于解释标准ResNet时，得分匹配和梯度范数正则化模型的梯度在识别最不相关像素方面优于基线模型自身的梯度。
• 结果表明，标准模型中输入梯度的可靠性可能源于训练过程中无意的密度对齐，而非判别函数的直接可解释性。