[论文解读] The Inadequacy of Shapley Values for Explainability

Xuanxiang Huang, João Marques‐Silva|arXiv (Cornell University)|Feb 16, 2023

Explainable Artificial Intelligence (XAI)被引用 12

一句话总结

本文认为 Shapley 值可能在解释中错误地表示特征重要性，展示了不相关特征看起来重要而相关特征看起来不重要的情形，并讨论了严格替代方法在计算上的不可行性。

ABSTRACT

This paper develops a rigorous argument for why the use of Shapley values in explainable AI (XAI) will necessarily yield provably misleading information about the relative importance of features for predictions. Concretely, this paper demonstrates that there exist classifiers, and associated predictions, for which the relative importance of features determined by the Shapley values will incorrectly assign more importance to features that are provably irrelevant for the prediction, and less importance to features that are provably relevant for the prediction. The paper also argues that, given recent complexity results, the existence of efficient algorithms for the computation of rigorous feature attribution values in the case of some restricted classes of classifiers should be deemed unlikely at best.

研究动机与目标

• 推动对 XAI 中严格解释的需求并批评 SHAP/Shapley 基于特征归因的方法。
• 展示精确的 Shapley 值可能错误地将特征相关性归类于预测。
• 将 abductive explanations 与基于 Shapley 的归因联系起来，以揭示基本缺陷。
• 提出一种尊重相关性的特征重要性替代度量。
• 讨论实现严格归因方法的计算复杂性障碍。

提出的方法

• 定义一个 sufficiency 函数 sigma，表示保证相同预测的固定特征子集。
• 基于 phi(S;M,v) 在固定与非固定特征集合上计算 Shapley 值 Sv(i)。
• 分析 abductive explanations (AXp) 和 contrastive explanations (CXp) 及其与 sigma 的最小命中集对偶性。
• 建立 sigma 的素蕴涵、关键变量与特征相关性之间的关系。
• 提出一种替代度量，通过枚举所有解释，将无关特征赋零、相关特征赋非零。
• 证明 SHAP 结果偏离精确的 Shapley 值和特征相关性，并论证更好定义的计算不可约性。

实验结果

研究问题

• RQ1 是否存在分类器和实例，在其中不相关的特征获得非零的 Shapley 值 (I1)？
• RQ2 是否存在分类器和实例，不相关特征在排序上高于相关特征 (I2)？
• RQ3 是否存在分类器和实例，相关特征的 Shapley 值为零 (I3)？
• RQ4 是否存在分类器和实例，相关特征的 Shapley 值为零而不相关特征仍为非零 (I4)？
• RQ5 是否可以在有意义的类别（例如 d-DNNFs）中高效计算精确的 Shapley 值或其变体，而不意味着 P=NP？

主要发现

• SHAP 的近似 Shapley 值通常与精确的 Shapley 值不一致，包括特征排序。
• 在给定预测中存在不相关特征获得非零 Shapley 值的实例 (I1)。
• 存在相关特征的 Shapley 值为零的实例 (I3)。
• 示例表明不相关特征在基于 Shapley 的排名中可能超过相关特征 (I2, I4)。
• 在决定特征相关性方面存在一些可处理的情况，特别是决策树，但一般而言相关性问题在计算上具有挑战性。
• 作者提出一种简单、尊重相关性的特征重要性度量，基于完整的 abductive explanations 集，但可能具有计算困难。