[论文解读] On the Tractability of SHAP Explanations

Guy Van den Broeck, Anton Lykov+2 more|arXiv (Cornell University)|Sep 18, 2020

Explainable Artificial Intelligence (XAI)参考文献 27被引用 4

一句话总结

本文确定了在三种关键设定下SHAP解释的计算复杂度：完全因子分解分布、朴素贝叶斯分布和经验分布。研究证明，在完全因子分解分布下，逻辑回归和神经网络的SHAP值计算为#P难问题；在朴素贝叶斯模型中为不可计算问题；即使在经验数据上，其计算仍为#P难问题，表明尽管SHAP在实践中被广泛使用，但对常见模型进行精确计算在一般情况下是不可行的。

ABSTRACT

SHAP explanations are a popular feature-attribution mechanism for explainable AI. They use game-theoretic notions to measure the influence of individual features on the prediction of a machine learning model. Despite a lot of recent interest from both academia and industry, it is not known whether SHAP explanations of common machine learning models can be computed efficiently. In this paper, we establish the complexity of computing the SHAP explanation in three important settings. First, we consider fully-factorized data distributions, and show that the complexity of computing the SHAP explanation is the same as the complexity of computing the expected value of the model. This fully-factorized setting is often used to simplify the SHAP computation, yet our results show that the computation can be intractable for commonly used models such as logistic regression. Going beyond fully-factorized distributions, we show that computing SHAP explanations is already intractable for a very simple setting: computing SHAP explanations of trivial classifiers over naive Bayes distributions. Finally, we show that even computing SHAP over the empirical distribution is #P-hard.

研究动机与目标

• 确定SHAP解释在不同数据分布和模型类别下的计算复杂度。
• 解决SHAP值能否对常用机器学习模型高效计算这一开放问题。
• 证明即使在完全因子分解或经验分布等简化设定下，标准模型的计算仍为不可计算问题。
• 阐明SHAP解释在实践中的理论限制，尤其考虑到其在实际中的广泛应用。

提出的方法

• 分析在三种数据分布类型下SHAP计算的复杂度：完全因子分解、朴素贝叶斯和经验分布。
• 将计算期望模型输出的问题归约为SHAP值计算，证明在完全因子分解设定下两者复杂度等价。
• 通过从#P完全问题（如计算PP2CNF公式期望值）的归约，证明#P难性。
• 构建一种基于多项式时间预言机的变换，通过修改函数和特征增强来计算SHAP值。
• 运用矩阵行列式分析和递推关系，证明归约中系数矩阵的非奇异性质。
• 对原始公式进行变换，利用多项式插值和系数提取推导期望值。

实验结果

研究问题

• RQ1 在完全因子分解数据分布下，对常用模型如逻辑回归计算SHAP解释是否具有可 tractability？
• RQ2 在数据分布中假设特征独立是否能实现高效的SHAP计算？
• RQ3 在放松独立性假设的朴素贝叶斯分布上，SHAP解释的复杂度如何？
• RQ4 当使用从训练数据导出的经验分布时，SHAP计算是否具有可 tractability？
• RQ5 Lundberg等人（2020）提出的决策树多项式时间算法是否能正确实现精确的SHAP计算？

主要发现

• 在完全因子分解数据分布下，对具有Sigmoid激活函数的逻辑回归和神经网络计算SHAP解释为#P难问题。
• 即使在朴素贝叶斯分布上的简单分类器中，SHAP计算也具有不可计算性，意味着线性回归和逻辑回归模型同样面临困难。
• 在经验分布上，SHAP计算为#P难问题，排除了实践中高效精确计算的可能性。
• SHAP解释的复杂度与在完全因子分解分布下计算期望模型输出的复杂度等价。
• Lundberg等人（2020）提出的决策树多项式时间算法无法正确实现精确SHAP计算，这一点由#P难性结果得以证实。
• 从PP2CNF模型计数到SHAP计算的归约证明，一般情况下精确SHAP值在计算上是不可行的。