[论文解读] Rethinking Positive Aggregation and Propagation of Gradients in Gradient-based Saliency Methods

Ashkan Khakzar, Soroosh Baselizadeh+1 more|arXiv (Cornell University)|Dec 1, 2020

Explainable Artificial Intelligence (XAI)参考文献 21被引用 4

一句话总结

本文表明，显著性方法中常见的正梯度聚合与传播——如GradCAM++、FullGrad、LRP和引导反向传播中所采用的——会导致这些方法对模型预测和参数随机化不敏感。通过用完整的梯度处理替代基于ReLU的正向过滤，作者证明显著性图变为类别敏感和模型敏感，揭示了先前方法主要恢复的是视觉显著性，而非解释模型行为。

ABSTRACT

Saliency methods interpret the prediction of a neural network by showing the importance of input elements for that prediction. A popular family of saliency methods utilize gradient information. In this work, we empirically show that two approaches for handling the gradient information, namely positive aggregation, and positive propagation, break these methods. Though these methods reflect visually salient information in the input, they do not explain the model prediction anymore as the generated saliency maps are insensitive to the predicted output and are insensitive to model parameter randomization. Specifically for methods that aggregate the gradients of a chosen layer such as GradCAM++ and FullGrad, exclusively aggregating positive gradients is detrimental. We further support this by proposing several variants of aggregation methods with positive handling of gradient information. For methods that backpropagate gradient information such as LRP, RectGrad, and Guided Backpropagation, we show the destructive effect of exclusively propagating positive gradient information.

研究动机与目标

• 调查为何流行的基于梯度的显著性方法尽管生成视觉上合理的图，却无法解释模型预测。
• 评估正向聚合与传播对类别敏感性和模型参数随机化敏感性的影响。
• 提出并测试保留梯度符号信息的替代聚合与传播方法。
• 通过实证验证，正梯度处理仅保留正向梯度会导致显著性图反映输入图像特征，而非模型行为。
• 提供证据表明，如GradCAM++、LRP和引导反向传播等广泛使用的显著性方法，并不可靠用于模型解释。

提出的方法

• 提出显著性方法的变体，用绝对值或符号保持型聚合替代基于ReLU的正向聚合，以保留梯度符号信息。
• 引入一种改进的RectGrad方法（RectGrad_Mod），在传播规则中使用绝对值，使正负梯度均可向后传播。
• 使用LRP-0（γ=0）作为LRP-γ=∞的对照，以消除在相关性传播中对正向贡献的偏倚。
• 应用指向游戏（pointing game）和受限指向游戏（restricted pointing game）来评估不同输出预测下的类别敏感性。
• 对模型参数随机化进行合理性检查，以测试对模型变化的敏感性。
• 使用Rebuffi等人（2020）提出的类别敏感性度量，衡量不同预测类别下显著性图之间的相关性。

实验结果

研究问题

• RQ1 在GradCAM++和FullGrad等方法中，正向梯度聚合是否损害其解释模型预测的能力？
• RQ2 在模型参数随机化后，正向梯度传播方法的显著性图在多大程度上保持不变？
• RQ3 包含负梯度信息如何影响显著性图的类别敏感性？
• RQ4 LRP、RectGrad和引导反向传播等方法是否真正对预测输出类别敏感，还是仅恢复视觉显著性？
• RQ5 能否通过保留梯度符号的替代聚合与传播规则，提升显著性解释的可靠性？

主要发现

• GradCAM++和FullGrad变体中的正向聚合导致显著性图对预测输出类别不敏感，表现为类别敏感性度量低，且在所有类别上指向游戏准确率高。
• 如引导反向传播、RectGrad和LRP-γ=∞等正向传播方法的显著性图，在模型参数随机化后仍保持视觉相似，表明对模型变化不敏感。
• 对照方法（如Gradients、RectGrad_Mod和LRP-0）对模型参数随机化表现出显著更高的敏感性，证实仅正向传播是导致不敏感的根本原因。
• 类别敏感性度量显示，正向传播方法（如引导反向传播、LRP-γ=∞）的Spearman相关系数接近1.0，表明不同预测下的显著性图几乎完全相同。
• 受限指向游戏显示，正向传播方法无论预测类别如何，始终指向同一类物体，而对照方法在此设置下准确率降低，表明具有真正的类别敏感性。
• 所提出的改进方法——如在RectGrad中使用绝对值，以及在LRP中设置γ=0——恢复了对模型参数和预测类别的敏感性，证明梯度符号保留对可靠归因至关重要。