[论文解读] New Definitions and Evaluations for Saliency Methods: Staying Intrinsic, Complete and Sound

Arushi Gupta, Nikunj Saunshi+3 more|arXiv (Cornell University)|Nov 5, 2022

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文提出了一种新的内在评估框架，用于显著性方法，该框架同时强制实现完整性和正确性，解决了现有基于掩码的评估中的缺陷。它提出了一种新颖的显著性方法，并证明总变差（TV）正则化通过减少虚假的掩码伪影，增强了正确性，从而在线性模型和深度网络中实现了更可靠的解释。

ABSTRACT

Saliency methods compute heat maps that highlight portions of an input that were most {\em important} for the label assigned to it by a deep net. Evaluations of saliency methods convert this heat map into a new {\em masked input} by retaining the $k$ highest-ranked pixels of the original input and replacing the rest with extquotedblleft uninformative extquotedblright\ pixels, and checking if the net's output is mostly unchanged. This is usually seen as an {\em explanation} of the output, but the current paper highlights reasons why this inference of causality may be suspect. Inspired by logic concepts of {\em completeness \& soundness}, it observes that the above type of evaluation focuses on completeness of the explanation, but ignores soundness. New evaluation metrics are introduced to capture both notions, while staying in an {\em intrinsic} framework -- i.e., using the dataset and the net, but no separately trained nets, human evaluations, etc. A simple saliency method is described that matches or outperforms prior methods in the evaluations. Experiments also suggest new intrinsic justifications, based on soundness, for popular heuristic tricks such as TV regularization and upsampling.

研究动机与目标

• 为解决标准内在评估中显著性方法缺乏正确性的问题，这些评估仅验证完整性。
• 将正确性形式化为有效解释的必要条件，确保错误标签无法通过显著性掩码得到合理解释。
• 开发一种仅使用原始模型和数据的新型内在评估框架，避免使用人工标注或辅助网络。
• 为显著性方法中常见的启发式方法（如TV正则化）提供理论和实证支持。
• 提出一种新显著性方法，在新评估标准下实现最先进性能。

提出的方法

• 基于逻辑完整性与正确性的正式框架，评估显著性方法，要求解释仅能合理化正确预测。
• 通过二值掩码 M 定义掩码输入，仅保留显著性得分最高的 k 个像素，其余像素替换为无信息（灰色）值。
• 提出一种基于正确与错误标签 AUC 的新型内在评估指标，以同时评估完整性和正确性。
• 提出一种显著性方法，基于输入特征值与模型权重的乘积选择显著像素，并在大小和TV约束下进行优化。
• 应用总变差（TV）正则化，以在显著性图中强制实现空间一致性，减少导致错误标签合理化的伪影。
• 在线性模型设置中使用切尔诺夫不等式，理论上证明TV正则化显著性集合不太可能错误合理化错误标签。

实验结果

研究问题

• RQ1 鉴于标准内在评估仅验证完整性而忽略正确性，能否信任其用于验证显著性方法？
• RQ2 像TV正则化这样的常见启发式方法在多大程度上提升了显著性解释的正确性？
• RQ3 能否设计一种显著性方法，使其在内在评估中同时满足完整性和正确性？
• RQ4 是否存在TV正则化能减少显著性图中虚假掩码伪影的理论依据？
• RQ5 与所提方法相比，现有显著性方法在新完整性和正确性标准下的表现如何？

主要发现

• 所提显著性方法在新完整性和正确性评估指标下，表现与或优于先前最先进方法。
• 实验表明，TV正则化显著降低了掩码输入中错误标签的AUC，提升了正确性，且未牺牲完整性。
• 在线性模型设置中，大小为 L = Ω(1/γ²) 的TV正则化显著性集合，能以高概率可靠地合理化正确预测，而无法合理化错误预测。
• 理论分析证明，在权重和输入有界条件下，使用TV约束显著性集合错误识别错误标签的概率随L指数衰减。
• 研究发现，现有显著性方法可产生高完整性得分，但正确性较差，因为其可通过易产生伪影的掩码合理化错误标签。
• 结果表明，TV正则化不仅是启发式方法，更是实现正确显著性解释的必要组成部分，尤其在高维输入中。