[论文解读] Revisiting Sanity Checks for Saliency Maps

Gal Yona, Daniel Greenfeld|arXiv (Cornell University)|Oct 27, 2021

Explainable Artificial Intelligence (XAI)参考文献 20被引用 12

一句话总结

本文对Adebayo等人提出的显著性图可信度检验方法进行了批判性重新评估，认为其结论受到任务特异性数据分布的干扰。通过设计具有受控扰动的定制任务（如多目标图像和混合目标刺激），本文表明，如引导反向传播等显著性方法在经过修订的可信度检验中仍能通过，从而挑战了原始观点，即这些方法对模型架构不敏感。

ABSTRACT

Saliency methods are a popular approach for model debugging and explainability. However, in the absence of ground-truth data for what the correct maps should be, evaluating and comparing different approaches remains a long-standing challenge. The sanity checks methodology of Adebayo et al [Neurips 2018] has sought to address this challenge. They argue that some popular saliency methods should not be used for explainability purposes since the maps they produce are not sensitive to the underlying model that is to be explained. Through a causal re-framing of their objective, we argue that their empirical evaluation does not fully establish these conclusions, due to a form of confounding introduced by the tasks they evaluate on. Through various experiments on simple custom tasks we demonstrate that some of their conclusions may indeed be artifacts of the tasks more than a criticism of the saliency methods themselves. More broadly, our work challenges the utility of the sanity check methodology, and further highlights that saliency map evaluation beyond ad-hoc visual examination remains a fundamental challenge.

研究动机与目标

• 挑战Adebayo等人提出的用于评估显著性图的可信度检验方法的有效性。
• 调查原始结论（即显著性方法，如引导反向传播，对模型架构不敏感）是否源于评估中所用特定任务的干扰。
• 设计受控的、合成的任务，其中正确显著性图已知，以隔离数据分布对评估结果的影响。
• 证明当在明确要求模型依赖性推理的任务上评估时，显著性方法可通过修订后的可信度检验。
• 质疑当前可信度检验框架在实际中区分不同显著性方法的实用性。

提出的方法

• 从因果角度重构原始可信度检验目标，明确其对数据生成分布的依赖性。
• 在MNIST上设计两个定制任务：一个要求模型检测缺失的上半部分（扰动任务），另一个要求识别数字（分类任务），两者均具有已知的正确显著性图。
• 将模型在这些任务上训练至高准确率（0.99），以确保其学习到任务特异性表征。
• 在训练好的模型和同架构的随机初始化模型上，分别使用普通反向传播（VBP）和引导反向传播（GBP）生成显著性图。
• 将该方法扩展至ImageNet，使用TinyImageNet创建成对图像（如浓缩咖啡+狒狒），其中标签仅取决于一个对象。
• 在成对数据集上微调ResNet18，达到约77%的测试准确率，然后比较训练模型、预训练模型和随机模型的显著性图。

实验结果

研究问题

• RQ1 Adebayo等人原始的可信度检验在多大程度上依赖于MNIST和ImageNet的特定数据分布？
• RQ2 当正确显著性图已知时，能否证明如引导反向传播等显著性方法对模型架构敏感？
• RQ3 原始研究中某些显著性方法的失效是否源于任务特异性干扰因素，而非方法本身的固有缺陷？
• RQ4 是否可以使用定制的、半合成的任务来构建更可靠的显著性方法评估框架？
• RQ5 原始可信度检验方法是否过于薄弱，无法有意义地区分如VBP和GBP等显著性方法？

主要发现

• 在定制的多目标任务中，VBP和GBP在训练模型与随机初始化模型之间产生的显著性图在视觉上明显不同，表明其对模型敏感。
• 在基于MNIST的扰动任务中，训练模型的显著性图正确突出显示了相关区域（如缺失的上半部分），而随机模型的图则呈弥散且无结构的分布。
• 在基于ImageNet的成对对象任务中，微调后的ResNet18产生的显著性图仅聚焦于相关对象（如浓缩咖啡），而随机模型则对两个对象同等强调。
• 结果表明，引导反向传播通过了修订后的可信度检验，与原始观点相矛盾，即其对模型架构不敏感。
• 原始可信度检验方法被证明具有分布依赖性，当数据分布改变时，结果显著不同。
• 本研究表明，当前的可信度检验框架可能过于薄弱，无法有意义地区分显著性方法，尤其是在任务设计引入干扰因素时。