[论文解读] Saliency-Bench: A Comprehensive Benchmark for Evaluating Visual Explanations

Yifei Zhang, James Song+5 more|arXiv (Cornell University)|Oct 12, 2023

Explainable Artificial Intelligence (XAI)Computer Science被引用 3

一句话总结

该论文提出了 Saliency-Bench，一个用于评估可解释人工智能（XAI）中视觉解释的综合性基准，包含八个涵盖医学影像和物体识别等领域的多样化数据集，均配有由人类标注的解释。该基准支持基于对齐度和因果性指标的标准化、定量评估，揭示了集成梯度（Integrated Gradients）和 RISE 在对齐度和忠实度方面始终优于其他方法。

ABSTRACT

Explainable AI (XAI) has gained significant attention for providing insights into the decision-making processes of deep learning models, particularly for image classification tasks through visual explanations visualized by saliency maps. Despite their success, challenges remain due to the lack of annotated datasets and standardized evaluation pipelines. In this paper, we introduce Saliency-Bench, a novel benchmark suite designed to evaluate visual explanations generated by saliency methods across multiple datasets. We curated, constructed, and annotated eight datasets, each covering diverse tasks such as scene classification, cancer diagnosis, object classification, and action classification, with corresponding ground-truth explanations. The benchmark includes a standardized and unified evaluation pipeline for assessing faithfulness and alignment of the visual explanation, providing a holistic visual explanation performance assessment. We benchmark these eight datasets with widely used saliency methods on different image classifier architectures to evaluate explanation quality. Additionally, we developed an easy-to-use API for automating the evaluation pipeline, from data accessing, and data loading, to result evaluation. The benchmark is available via our website: https://xaidataset.github.io.

研究动机与目标

• 解决可解释人工智能（XAI）中视觉解释缺乏标准化、定量评估基准的问题。
• 提供一个精心筛选的八大数据集集合，涵盖性别分类、目标检测和医学影像等领域的任务，并配有由人类标注的解释。
• 通过统一的工作流和开源 API，实现视觉解释方法的公平、可复现且全面的评估。
• 弥合高风险应用场景（如医学诊断）中模型忠实度与人类对齐度之间的差距。
• 通过标准化数据加载、解释生成和评估工作流，促进跨方法比较与可复现性。

提出的方法

• 该基准整合了八个数据集，涵盖计算机视觉中的图像分类任务，每个数据集均配有由人类提供的模型预测解释。
• 实现了一个统一的视觉解释工作流，支持数据加载、通过八种最先进方法（如 GradCAM、集成梯度、RISE、ViT）生成解释，以及评估。
• 评估框架包含六种基于对齐度的指标（如 L2、IoU、F1）和两种基于因果性的指标（Insertion、Deletion），用于评估解释质量。
• 通过严格的独立标注与共识程序收集人工标注的解释，以确保可靠性并减少个体偏见。
• 发布开源 API，以简化数据加载与评估流程，提升研究者的可复现性与可访问性。
• 该基准支持事后生成与内在解释方法，可广泛兼容现有 XAI 技术。

Figure 1 : Examples of images and human explanation annotations from our published dataset collection for four selected datasets.

实验结果

研究问题

• RQ1 在不同数据集上，各类视觉解释方法与人工标注解释的对齐度表现如何？
• RQ2 当前的解释方法在保持与人类推理一致的同时，其对模型预测的忠实度达到何种程度？
• RQ3 标准化的定量指标能否可靠地区分多个数据集和方法中视觉解释的质量差异？
• RQ4 架构选择（如 CNN 与 ViT）如何影响生成显著性图的可解释性与对齐度？
• RQ5 现有评估协议存在哪些局限性？Saliency-Bench 如何改进这些问题？

主要发现

• 在 Cat&Dog-XAI 数据集上，集成梯度（IG）在 F1 和 IoU 指标上均表现最优，对齐度得分为 0.9974。
• 在 Object-XAI 数据集上，RISE 展现出优异性能，F1 得分为 0.857，IoU 达 0.5266，表明其解释图具有较高的空间精度。
• 视觉变换器（ViT）生成了丰富、多区域的注意力图，相较于 GradCAM 等局部化方法，更能捕捉复杂且分布式的推理模式。
• 在 Nodule Classification 数据集上，IG 和 GBP 方法的 F1 得分最高（分别为 0.472 和 0.468），表明其与人工标注的显著性区域高度一致。
• GradCAM 和 GradCAM++ 展现出稳定的高忠实度，但对齐度较低，表明其可能聚焦于模型相关区域，但未完全匹配人类感知。
• 该基准揭示，存在数据来源差异的数据集（如胰腺肿瘤数据集）可能引入偏差，导致模型依赖图像来源而非肿瘤位置进行预测。