[论文解读] SHAP-IQ: Unified Approximation of any-order Shapley Interactions

Fabian Fumagalli, Maximilian Muschalik+3 more|arXiv (Cornell University)|Mar 2, 2023

Explainable Artificial Intelligence (XAI)被引用 11

一句话总结

SHAP-IQ 提供一个统一、无偏且一致的基于采样的方法，用来近似任阶的基数交互指数（CII），在 SII、STI 与 FSI 的 Shapley 交互计算之间实现统一与简化。

ABSTRACT

Predominately in explainable artificial intelligence (XAI) research, the Shapley value (SV) is applied to determine feature attributions for any black box model. Shapley interaction indices extend the SV to define any-order feature interactions. Defining a unique Shapley interaction index is an open research question and, so far, three definitions have been proposed, which differ by their choice of axioms. Moreover, each definition requires a specific approximation technique. Here, we propose SHAPley Interaction Quantification (SHAP-IQ), an efficient sampling-based approximator to compute Shapley interactions for arbitrary cardinal interaction indices (CII), i.e. interaction indices that satisfy the linearity, symmetry and dummy axiom. SHAP-IQ is based on a novel representation and, in contrast to existing methods, we provide theoretical guarantees for its approximation quality, as well as estimates for the variance of the point estimates. For the special case of SV, our approach reveals a novel representation of the SV and corresponds to Unbiased KernelSHAP with a greatly simplified calculation. We illustrate the computational efficiency and effectiveness by explaining language, image classification and high-dimensional synthetic models.

研究动机与目标

• 在 XAI 中说明需要量化超出单特征 attribution 的特征交互的动机。
• 在 Cardinal Interaction Index（CII）框架下推广 Shapley 交互的概念。
• 开发一个统一的、基于采样的估计器，具备对任意 CIIs 的理论保证。
• 揭示与现有方法的联系，包括用于 Shapley 值的 unbiased KernelSHAP（U-KSH）。
• 演示在语言、图像和合成模型上的计算效率和适用性。

提出的方法

• 引入一种将 CII 表示为 D 的所有子集 T 的和的新的表示，权重取决于 |T| 和 |T ∩ S|。
• 将 SHAP-IQ 定义为使用该表示的蒙特卡洛估计器，具有可调的采样顺序 k0 和分布 p_{k0}(T)。
• 证明 SHAP-IQ 是无偏且一致的，并给出具有方差估计的通用近似界。
• 表明 SHAP-IQ 通过引入的 s-效率概念，对 n-SII 和 STI 保持效率。
• 将 SHAP-IQ 专门化为 Shapley 值，推导出新的表示并将其与 Unbiased KernelSHAP（U-KSH）联系起来。
• 通过语言和图像模型及高维合成数据的实验展示实际性能。

Figure 1: Interaction scores for a movie review excerpt presented to a sentiment analysis model.

实验结果

研究问题

• RQ1 一个统一的估计器是否可以在线性、对称性和虚无公理下近似任阶 CII？
• RQ2 哪种表示能够从模型评估中实现对 CIIs 的高效、无偏和一致估计？
• RQ3 SHAP-IQ 如何与现有的基于 Shapley 的估计器相关并简化，尤其是 SV 的 U-KSH？
• RQ4 SHAP-IQ 的估计在各阶的 n-SII 和 STI 上是否保持效率？
• RQ5 SHAP-IQ 是否在 NLP、计算机视觉和高维合成设定中有效？

主要发现

• SHAP-IQ 提供一个对任阶 CII 的无偏且一致的估计器，具有一般方差界。
• 作者推导出一种新颖的 CII 表示，允许从模型评估中同时计算所有分数。
• 对于 SV，SHAP-IQ 得出一个新的 SV 表示，并简化为等价于 U-KSH 的形式，从而实现更简单的计算。
• SHAP-IQ 通过 s-efficiency 对 n-SII 和 STI 维持效率，而 FSI 可能不具备 s 效率。
• 实证结果显示 SHAP-IQ 在语言和图像模型上的 SII 和 STI 超过基线，并可扩展到高维合成数据。

Figure 2: Approximation quality of SHAP-IQ and the baseline for orders $s=1,2,3$ of SII measured by MSE for the LM (left) and Prec@10 for orders $s=2,3$ for the LM (middle) and ICM (right).