[论文解读] Quantifying Explainability of Saliency Methods in Deep Neural Networks

Erico Tjoa, Cuntai Guan|arXiv (Cornell University)|Sep 7, 2020

Explainable Artificial Intelligence (XAI)参考文献 41被引用 9

一句话总结

本文提出了一种带有真实热图的合成数据集，以实现对深度神经网络中显著性方法的定量评估。通过生成具有可区分特征的细胞图像，作者实现了对事后解释方法的透明基准测试，揭示了方法论上的不足，并为可解释人工智能（XAI）中的评估标准改进和未来研究方向提供了建议。

ABSTRACT

One way to achieve eXplainable artificial intelligence (XAI) is through the use of post-hoc analysis methods. In particular, methods that generate heatmaps have been used to explain black-box models, such as deep neural network. In some cases, heatmaps are appealing due to the intuitive and visual ways to understand them. However, quantitative analysis that demonstrates the actual potential of heatmaps have been lacking, and comparison between different methods are not standardized as well. In this paper, we introduce a synthetic data that can be generated adhoc along with the ground-truth heatmaps for better quantitative assessment. Each sample data is an image of a cell with easily distinguishable features, facilitating a more transparent assessment of different XAI methods. Comparison and recommendations are made, shortcomings are clarified along with suggestions for future research directions to handle the finer details of select post-hoc analysis methods.

研究动机与目标

• 解决深度神经网络中显著性方法缺乏标准化、定量评估的问题。
• 开发一种合成数据生成框架，生成具有易于识别特征的图像及相应的真实热图。
• 通过一个受控的、透明的基准，实现对事后解释方法的透明且可复现的比较。
• 通过在所提出的数据集上进行系统性评估，识别现有显著性方法的局限性。
• 通过揭示方法论上的不足并建议改进XAI评估实践，为未来研究提供指导。

提出的方法

• 设计一个由具有明显可区分结构特征的类细胞图像组成的合成数据集，作为显著性方法的测试案例。
• 基于可识别特征，为每张合成图像生成真实热图，从而可与模型生成的显著性图进行直接比较。
• 对同一组合成图像应用多种事后显著性方法（例如：Grad-CAM、GradCAM++、LRP），生成解释热图。
• 使用交并比（IoU）和基于相关性的度量等指标，定量评估模型生成热图与真实热图之间的相似性。
• 利用合成数据系统性地评估不同特征复杂度和空间配置下的方法性能。
• 建立一个支持可复现、透明且定量评估显著性方法的基准框架。

实验结果

研究问题

• RQ1 在已知真实热图的合成图像中，现有显著性方法对真实相关特征的定位能力如何？
• RQ2 在受控的、透明的数据上，主流显著性方法之间的性能定量差异是什么？
• RQ3 在不同合成数据配置下，哪些方法论上的缺陷被一致地暴露出来？
• RQ4 特征复杂度和空间排列的变化如何影响显著性解释的可靠性？
• RQ5 评估协议需要哪些改进，才能更真实地反映显著性方法的解释能力？

主要发现

• 显著性方法在定位准确性方面表现差异显著，部分方法即使在简单的合成图像中也未能正确识别相关特征。
• 在所有配置中均无单一方法始终优于其他方法，表明方法选择高度依赖于数据结构。
• 常用的度量指标（如IoU和相关性）无法完全捕捉解释质量，表明需要更细致的评估标准。
• 许多方法在重叠或模糊特征区域产生误导性或不一致的热图。
• 该合成数据集成功暴露了方法论缺陷，并能清晰区分高性能与低性能的显著性技术。
• 本研究揭示了当前评估实践缺乏标准化和透明度，迫切需要采用带有真实解释的基准数据集。