[论文解读] Why are Saliency Maps Noisy? Cause of and Solution to Noisy Saliency Maps

Beomsu Kim, Junghoon Seo+4 more|arXiv (Cornell University)|Feb 13, 2019

Explainable Artificial Intelligence (XAI)参考文献 24被引用 9

一句话总结

本文指出，当无关特征通过 ReLU 激活时，会导致显著的梯度，从而引发噪声显著的显著性图。为此，本文提出了一种在反向传播过程中进行逐层阈值处理的新型方法——修正梯度（Rectified Gradient, RectGrad），该方法可有效抑制这些无关特征的影响，显著提升显著性图的质量，在 CIFAR-10 和 ImageNet 上的视觉一致性和定量基准测试中均优于现有归因方法。

ABSTRACT

Saliency Map, the gradient of the score function with respect to the input, is the most basic technique for interpreting deep neural network decisions. However, saliency maps are often visually noisy. Although several hypotheses were proposed to account for this phenomenon, there are few works that provide rigorous analyses of noisy saliency maps. In this paper, we firstly propose a new hypothesis that noise may occur in saliency maps when irrelevant features pass through ReLU activation functions. Then, we propose Rectified Gradient, a method that alleviates this problem through layer-wise thresholding during backpropagation. Experiments with neural networks trained on CIFAR-10 and ImageNet showed effectiveness of our method and its superiority to other attribution methods.

研究动机与目标

• 识别显著性图中视觉噪声的根本原因，挑战以往关于梯度不连续性和饱和性的假设。
• 解决现有归因方法缺乏严谨分析的问题，这些方法依赖于对噪声来源的未经验证的假设。
• 提出一种新颖且基于实证的假设：当无关特征激活 ReLU 单元并传播梯度时，噪声由此产生。
• 开发修正梯度（RectGrad）方法，通过在反向传播过程中进行逐层阈值处理来降低噪声。
• 通过定性和定量实验表明，与现有方法相比，RectGrad 能生成更清晰、更准确的归因图。

提出的方法

• 提出新假设：当无关特征具有正的前激活值并经过 ReLU 时，会在不重要的区域产生非零梯度，从而导致显著性图中的噪声。
• 引入修正梯度（RectGrad）技术，在反向传播过程中对每一层应用阈值处理，以抑制来自无关 ReLU 单元的梯度。
• RectGrad 将 Deconvolution 和 Guided Backpropagation 视为特例，为基于梯度的归因提供统一的理论框架。
• 采用一种基于前向传播中激活幅度的阈值机制，选择性地阻断低相关性单位的梯度。
• 在反向传播过程中应用该方法，以确保仅有意义的特征对最终显著性图有贡献。
• 在 ResNet 和 DenseNet 架构上对 CIFAR-10 和 ImageNet 进行训练后，通过定性可视化和定量指标验证了该方法的有效性。

实验结果

研究问题

• RQ1 显著性图中噪声的真实根本原因是什么？是否被正确归因于梯度不连续性或饱和性？
• RQ2 能否设计一种方法，在反向传播过程中通过过滤无关特征来减少噪声？
• RQ3 修正梯度在视觉清晰度和特征重要性识别方面是否优于现有归因方法？
• RQ4 在遮挡和特征移除测试中，RectGrad 相较于基线方法的鲁棒性如何？
• RQ5 RectGrad 是否能与 Deconvolution 和 Guided Backpropagation 等现有方法建立形式化关联？

主要发现

• RectGrad 生成了最清晰、最连贯的归因图，相比显著性图、Guided Backpropagation 和 SmoothGrad，噪声显著减少。
• 在补丁遮挡测试中，RectGrad 对随机 10×10 补丁的归因值最低（0.0001），优于所有其他方法，包括 DeepLIFT。
• 在背景归因测试中，与基线相比，RectGrad 将掩码区域上绝对归因值的总和降低了 30%-40%，表明其具有更优的噪声抑制能力。
• RectGrad 在 ROAR AUC（0.5385）和 KAR AOC（0.3382）指标上均取得最低值，优于所有基线，表明其在特征重要性识别方面表现更优。
• 该方法统一了 Deconvolution 和 Guided Backpropagation，为基于梯度的归因提供了统一的理论框架。
• 在 ImageNet 和 CIFAR-10 上的定量结果表明，RectGrad 在视觉质量与鲁棒性指标上始终优于所有对比方法。