[论文解读] Natural Example-Based Explainability: a Survey

Antonin Poché, Lucas Hervier+1 more|arXiv (Cornell University)|Sep 5, 2023

Explainable Artificial Intelligence (XAI)Computer Science被引用 3

一句话总结

本综述对基于自然样本的可解释性（XAI）进行了全面分析，聚焦于不依赖生成过程、直接使用真实训练数据样本解释模型决策的非生成性方法。该研究评估了五种格式——相似样本、反事实、半反事实、有影响力实例、原型和概念——突出其语义定义、认知影响及在提升模型可解释性和用户信任方面的实际优势。

ABSTRACT

Explainable Artificial Intelligence (XAI) has become increasingly significant for improving the interpretability and trustworthiness of machine learning models. While saliency maps have stolen the show for the last few years in the XAI field, their ability to reflect models' internal processes has been questioned. Although less in the spotlight, example-based XAI methods have continued to improve. It encompasses methods that use examples as explanations for a machine learning model's predictions. This aligns with the psychological mechanisms of human reasoning and makes example-based explanations natural and intuitive for users to understand. Indeed, humans learn and reason by forming mental representations of concepts based on examples. This paper provides an overview of the state-of-the-art in natural example-based XAI, describing the pros and cons of each approach. A "natural" example simply means that it is directly drawn from the training data without involving any generative process. The exclusion of methods that require generating examples is justified by the need for plausibility which is in some regards required to gain a user's trust. Consequently, this paper will explore the following family of methods: similar examples, counterfactual and semi-factual, influential instances, prototypes, and concepts. In particular, it will compare their semantic definition, their cognitive impact, and added values. We hope it will encourage and facilitate future work on natural example-based XAI.

研究动机与目标

• 提供一种系统性综述，涵盖不依赖生成过程、直接使用真实训练数据的自然样本可解释性方法。
• 分析基于样本的解释在与人类推理机制对齐方面所具备的认知与心理合理性。
• 比较五种关键格式（相似样本、反事实、半反事实、有影响力实例、原型和概念）的语义定义、认知影响及实际优势。
• 指出显著性图的局限性，并倡导采用基于自然样本的方法作为更直观、更可信的替代方案。
• 通过厘清当前技术状态、分类体系及开放挑战，激励未来研究在自然样本可解释性领域的发展。

提出的方法

• 将基于样本的可解释性划分为五种语义格式：相似样本（事实）、反事实、半反事实、有影响力实例、原型和概念。
• 基于语义定义（与查询及决策边界的关联）、认知影响（用户如何理解）以及附加价值（如信任度、决策边界洞察）对每种方法进行评估。
• 仅聚焦于非生成性方法——即直接从训练数据中提取的真实样本——以确保其合理性与用户信任。
• 回顾100余项文献中的方法，并将其整理为比较表格（表1），包含模型类型、可解释性类型及需求等元数据。
• 基于四个维度构建分类体系：局部/全局、事后/内在、黑箱/白箱及解释格式。
• 分析相似性度量（如欧几里得距离、余弦相似度）以及模型访问方式（梯度、检查点）在支持各类方法中的作用。

Figure 1: Natural example-based explanation formats w.r.t the studied sample (or query) and the decision boundary. We can see similar examples are the closest elements to the query, while counterfactuals and semi-factual are on either side of the point of the decision boundary the closest to the que

实验结果

研究问题

• RQ1 不同自然样本可解释格式（如反事实、原型）在语义含义及对用户认知影响方面有何差异？
• RQ2 为何自然（非生成）样本比生成样本或显著性图更具可信度与直观性？
• RQ3 各类基于样本的格式在解释不同模型类型与任务的模型决策时，其关键优势与局限性分别是什么？
• RQ4 有影响力实例与原型如何在局部预测之外，帮助理解模型行为？
• RQ5 在自然样本可解释性方法的开发与评估中，当前存在哪些开放挑战与研究空白？

主要发现

• 基于自然样本的可解释性在用户信任与可解释性方面优于显著性图，因为样本与人类通过实例学习的认知机制相一致。
• 相似样本（事实）在局部置信度分析与误分类诊断方面最为有效，但其应用局限于查询样本的邻近区域。
• 反事实与半反事实为决策边界提供了互补性洞察，其中反事实展示了使预测结果发生翻转的最小变化。
• 有影响力实例识别出对模型预测影响最大的训练样本，从而在无需重新训练模型的情况下揭示数据驱动的模型行为。
• 原型与概念分别提供了关于类别表征与特征级语义的全局洞察，其中原型在密集数据区域尤为有效。
• 本综述识别出缺乏标准化评估协议的问题，并指出亟需更多用户研究来验证不同样本格式的认知影响。

Figure 2: Illustration of factuals, SF, and CF from Kenny and Keane [ 62 ] . The factual makes us understand the misclassification, while SF and CF show us how far or close the decision boundary is. Min-edit represents the AP, as differences are not visible.