[论文解读] Sanity Checks for Saliency Maps

Julius Adebayo, Justin Gilmer+4 more|arXiv (Cornell University)|Oct 8, 2018

Visual Attention and Saliency Detection被引用 604

一句话总结

论文提出一种可操作的方法来评估解释性中显著性图提供了什么，显示一些方法可能与模型或数据无关，因此对于某些数据-或模型敏感的任务不充分。

ABSTRACT

Saliency methods have emerged as a popular tool to highlight features in an input deemed relevant for the prediction of a learned model. Several saliency methods have been proposed, often guided by visual appeal on image data. In this work, we propose an actionable methodology to evaluate what kinds of explanations a given method can and cannot provide. We find that reliance, solely, on visual assessment can be misleading. Through extensive experiments we show that some existing saliency methods are independent both of the model and of the data generating process. Consequently, methods that fail the proposed tests are inadequate for tasks that are sensitive to either data or model, such as, finding outliers in the data, explaining the relationship between inputs and outputs that the model learned, and debugging the model. We interpret our findings through an analogy with edge detection in images, a technique that requires neither training data nor model. Theory in the case of a linear model and a single-layer convolutional neural network supports our experimental findings.

研究动机与目标

• 为显著性解释提供一个超越视觉检查的实际评估框架。
• 探究显著性方法是否真正依赖于训练好的模型及数据生成过程。
• 确定显著性解释可以或不能支持的任务，例如调试和异常检测。

提出的方法

• 提出一种通过检查对模型和数据的依赖来测试显著性方法的方法。
• 在多种显著性方法上进行广泛实验，以评估对模型/数据变化的敏感性。
• 使用线性模型和单层卷积神经网络为经验发现提供理论支持。
• 将结果解释与图像边缘检测进行类比。
• 报告对 Guided Backprop 实验的更新，以修复一个错误，同时保留结论。

实验结果

研究问题

• RQ1 显著性解释是否依赖于用于训练它的具体模型或数据？
• RQ2 是否存在对模型或数据变化不变的某些显著性方法，这将影响哪些任务？
• RQ3 显著性图能否可靠地揭示输入与输出之间的关系，以用于调试或异常检测？
• RQ4 简单模型的理论洞见是否与复杂模型的实证结果一致？

主要发现

• 一些显著性方法与模型和数据生成过程均无关。
• 未通过所提出测试的方法在对数据或模型敏感的任务中不可行。
• 边缘检测的类比有助于理解在解释需要较少训练数据或模型时的情形。
• 来自线性模型和单层 CNN 的理论支撑与经验结果一致。
• 对 Guided Backprop 实验进行了更新以修复一个错误，但总体结论保持不变。