[论文解读] Problems with Shapley-value-based explanations as feature importance measures

I. Elizabeth Kumar, Suresh Venkatasubramanian+2 more|arXiv (Cornell University)|Feb 25, 2020

Explainable Artificial Intelligence (XAI)参考文献 22被引用 109

一句话总结

本文批评基于夏普利值的特征解释，指出其数学和以人为本的局限性，并讨论干预性与条件性值函数、可加性限制，以及对可解释性的影响。

ABSTRACT

Game-theoretic formulations of feature importance have become popular as a way to "explain" machine learning models. These methods define a cooperative game between the features of a model and distribute influence among these input elements using some form of the game's unique Shapley values. Justification for these methods rests on two pillars: their desirable mathematical properties, and their applicability to specific motivations for explanations. We show that mathematical problems arise when Shapley values are used for feature importance and that the solutions to mitigate these necessarily induce further complexity, such as the need for causal reasoning. We also draw on additional literature to argue that Shapley values do not provide explanations which suit human-centric goals of explainability.

研究动机与目标

• 评估基于夏普利值的解释是否可靠地反映模型解释中的特征重要性。
• 识别使用夏普利值来衡量特征重要性所产生的数学问题。
• 在既定的可解释性框架下评估基于夏普利值的解释的人本适宜性。
• 提出在何种条件或替代方案下，基于夏普利值的解释可能具有意义。

提出的方法

• 对夏普利值基础及其在特征重要性中的应用进行综述和形式分析。
• 比较 v_f,x 的干预性与条件性值函数及其计算含义。
• 在非加性模型中检查可加性和其他公理以评估可解释性。
• 讨论因果因素及先验知识如何影响归因（不对称夏普利值）。
• 使用对比性解释和规范性评估框架分析以人为本的解释视角。

实验结果

研究问题

• RQ1 基于夏普利值的解释是否与人类对可解释性和对比性推理的概念相符？
• RQ2 在使用条件性与干预性值函数来测量特征重要性时，会出现哪些数学问题？
• RQ3 在非加性模型中，可加性等公理如何约束基于夏普利值的归因的可解释性？
• RQ4 在缺乏错配的情况下，夏普利值解释是否能为可操作的追索或规范性评估提供有意义的支持？
• RQ5 在何种受限设定下，夏普利值解释可能具有清晰的解释性？

主要发现

• 基于夏普利值的解释可能将影响归因给对干预没有影响的特征，因为使用条件性值函数会产生这种情况。
• 干预性方法需要对分布之外的模型进行评估，导致对分布内样本的解释具有误导性。
• 可加性公理在加性模型中限定了归因，在非加性模型中可能并不提供有用信息。
• 冗余或高度相关的特征会根据特征包含的选择而扭曲归因。
• 因果知识可以缓解某些问题，但会引入对先验假设的依赖，可能削弱解释的普遍性。
• 以人为本的批评指出夏普利解释常常未能满足解释的对比性和可操作性期望。