[论文解读] Predictive and Causal Implications of using Shapley Value for Model Interpretation

Sisi Ma, Roshan Tourani|arXiv (Cornell University)|Aug 12, 2020

Explainable Artificial Intelligence (XAI)参考文献 20被引用 11

一句话总结

本文研究了在贝叶斯网络中使用Shapley值进行模型解释时的预测性和因果性影响。结果表明，高Shapley值并不能可靠地指示预测重要性或因果影响，从而挑战了在机器学习模型中使用Shapley值进行特征选择或因果推断的做法。

ABSTRACT

Shapley value is a concept from game theory. Recently, it has been used for explaining complex models produced by machine learning techniques. Although the mathematical definition of Shapley value is straight-forward, the implication of using it as a model interpretation tool is yet to be described. In the current paper, we analyzed Shapley value in the Bayesian network framework. We established the relationship between Shapley value and conditional independence, a key concept in both predictive and causal modeling. Our results indicate that, eliminating a variable with high Shapley value from a model do not necessarily impair predictive performance, whereas eliminating a variable with low Shapley value from a model could impair performance. Therefore, using Shapley value for feature selection do not result in the most parsimonious and predictively optimal model in the general case. More importantly, Shapley value of a variable do not reflect their causal relationship with the target of interest.

研究动机与目标

• 考察Shapley值与机器学习模型预测性能之间的关系。
• 评估Shapley值是否反映了变量与目标结果之间的因果关系。
• 评估将Shapley值用作预测建模中特征选择启发式方法的有效性。
• 建立Shapley值与贝叶斯网络结构属性（尤其是条件独立性和d-分离）之间的理论联系。
• 澄清关于模型解释中Shapley值的误解，特别是关于因果性和模型简洁性的问题。

提出的方法

• 使用Shapley值理论将预测建模形式化为合作博弈。
• 通过忠实的因果贝叶斯网络生成数据，以确保结构有效性。
• 利用d-分离和条件独立性分析网络中变量之间的关系。
• 将Shapley值映射到网络结构，特别关注目标变量的马尔可夫边界和通路。
• 应用因果贝叶斯网络的理论结果（如定理25、30）来解释变量的结构角色。
• 进行理论分析，比较基于条件独立性的Shapley值与变量相关性（强、弱、无关）的关系。

实验结果

研究问题

• RQ1 一个具有高Shapley值的变量是否必然对预测性能有更大贡献？
• RQ2 Shapley值能否可靠地指示变量对目标变量的因果影响？
• RQ3 使用Shapley值进行特征选择是否更可能获得更具预测性且更简洁的模型？
• RQ4 Shapley值与贝叶斯网络中条件独立性之间的理论关系是什么？
• RQ5 d-连接性和马尔可夫边界等结构属性如何与Shapley值的分配相关？

主要发现

• 即使移除一个Shapley值较高的变量，预测性能也不一定会下降，表明高Shapley值并不意味着高预测重要性。
• Shapley值较低的变量可能显著影响模型性能，说明Shapley值并非预测贡献的可靠指标。
• Shapley值不能反映变量与目标之间的因果关系；一个变量可能具有高Shapley值，但并非目标的直接原因或结果。
• Shapley值与贝叶斯网络中的结构角色（如目标变量的马尔可夫边界成员）之间不存在普遍对应关系。
• 使用Shapley值进行特征选择可能无法得到最具预测性或最简洁的模型，因为高值特征可能在统计上无关。
• 理论分析证实，即使在忠实性假设下，Shapley值也与贝叶斯网络中的因果语义不一致。