[论文解读] Statistical Aspects of SHAP: Functional ANOVA for Model Interpretation

Andrew Herren, P. Richard Hahn|arXiv (Cornell University)|Aug 21, 2022

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文建立了SHAP与功能ANOVA之间的正式联系，证明SHAP值等价于ANOVA分量的加权和。研究揭示SHAP的准确性在很大程度上取决于基线分布的选择和估计的ANOVA项数量，强调可解释性并非免费的，而是依赖于方法中隐含的统计假设。

ABSTRACT

SHAP is a popular method for measuring variable importance in machine learning models. In this paper, we study the algorithm used to estimate SHAP scores and outline its connection to the functional ANOVA decomposition. We use this connection to show that challenges in SHAP approximations largely relate to the choice of a feature distribution and the number of $2^p$ ANOVA terms estimated. We argue that the connection between machine learning explainability and sensitivity analysis is illuminating in this case, but the immediate practical consequences are not obvious since the two fields face a different set of constraints. Machine learning explainability concerns models which are inexpensive to evaluate but often have hundreds, if not thousands, of features. Sensitivity analysis typically deals with models from physics or engineering which may be very time consuming to run, but operate on a comparatively small space of inputs.

研究动机与目标

• 通过将SHAP与功能ANOVA分解联系起来，阐明SHAP的统计基础。
• 研究基线分布的选择和ANOVA项数量对SHAP近似的影响。
• 强调SHAP的可解释性并非固有属性，而是依赖于方法中隐含的统计假设。
• 弥合机器学习可解释性与计算机实验中敏感性分析之间的差距。
• 指导从业者在SHAP中基线分布和近似策略的选择上做出明智决策。

提出的方法

• 作者将SHAP值表示为功能ANOVA分量的线性组合，这些分量是条件期望的对比。
• 他们利用功能ANOVA框架，将SHAP值的计算形式化为所有特征子集上的加权平均。
• 该方法涉及在不同基线分布下估计$2^p$个ANOVA项，其中$p$为特征数量。
• 论文使用蒙特卡洛采样比较了四种基线分布：全局独立、全局相关、局部独立和单一样本基线。
• 它在具有不同线性和交互结构的四个合成函数上评估SHAP值。
• 分析结合了理论推导与经验计算，以评估基线选择对估计的Shapley值的影响。

实验结果

研究问题

• RQ1 基线分布的选择在多大程度上影响SHAP值的估计？
• RQ2 估计的ANOVA项数量在多大程度上影响SHAP近似的准确性？
• RQ3 功能ANOVA分解在哪些方面阐明了SHAP的统计基础？
• RQ4 在不同基线假设下，特征之间的相关性如何影响SHAP值？
• RQ5 敏感性分析的见解在多大程度上能改善SHAP估计的收敛性和可靠性？

主要发现

• 基线分布的选择对SHAP值有深远影响，相关基线产生的结果与独立或局部基线显著不同。
• 使用全局相关基线分布会导致估计的Shapley值发生显著变化，尤其是在存在特征交互时。
• 局部独立基线仅在函数具有强非线性或对称性时产生非零的Shapley值，限制了其普遍适用性。
• 单一样本基线方法虽然直观，但引发了关键问题：参考点应置于何处，且不存在普遍最优的选择。
• 在不同基线下的SHAP值不可互换，即使针对同一模型和输入，表明估计量对分布假设高度敏感。
• 功能ANOVA的视角揭示，SHAP并非单一方法，而是一组估计量的集合，每个估计量都依赖于条件期望估计中使用的底层分布。