[论文解读] The Struggles of Feature-Based Explanations: Shapley Values vs. Minimal Sufficient Subsets

Oana-Maria Camburu, Eleonora Giunchiglia+3 more|arXiv (Cornell University)|Sep 23, 2020

Explainable Artificial Intelligence (XAI)被引用 11

一句话总结

本文表明，模型预测的基于特征的解释本质上存在歧义，即使在简单模型中也可能存在多个真实解释。研究揭示了Shapley值与最小充分子集（MSS）解释器针对的是根本不同的解释类型——Shapley值通过特征的可加重要性衡量其贡献，而MSS则识别出足以维持预测结果的最小特征集合，这表明仅靠其中任一方法都无法完整呈现模型行为的全貌。

ABSTRACT

For neural models to garner widespread public trust and ensure fairness, we must have human-intelligible explanations for their predictions. Recently, an increasing number of works focus on explaining the predictions of neural models in terms of the relevance of the input features. In this work, we show that feature-based explanations pose problems even for explaining trivial models. We show that, in certain cases, there exist at least two ground-truth feature-based explanations, and that, sometimes, neither of them is enough to provide a complete view of the decision-making process of the model. Moreover, we show that two popular classes of explainers, Shapley explainers and minimal sufficient subsets explainers, target fundamentally different types of ground-truth explanations, despite the apparently implicit assumption that explainers should look for one specific feature-based explanation. These findings bring an additional dimension to consider in both developing and choosing explainers.

研究动机与目标

• 探究即使在简单模型中，模型预测的多个真实特征解释是否存在。
• 考察两类主要解释器——Shapley值与最小充分子集（MSS）——之间的根本差异。
• 挑战隐含假设：即任何模型预测都存在唯一、确定的真实解释。
• 强调每类解释器在完整捕捉模型决策过程方面的局限性。
• 倡导根据用户需求与上下文，更透明地说明方法所追求的解释类型。

提出的方法

• 使用具有明确决策逻辑的基于规则的模型来分析基于特征的解释，从而实现对模型行为的完全控制与验证。
• 使用合作博弈论中的标准公式计算Shapley值，该公式根据特征在所有子集中的边际贡献为其分配贡献值。
• 将最小充分子集（MSS）定义为在单独使用时能保持模型预测结果的最小特征子集。
• 在相同模型实例上对比Shapley解释与MSS解释，以对比其对特征重要性与必要性的解释差异。
• 采用特征遮蔽与基线替换方法计算子集上的模型输出，确保MSS评估的一致性。
• 分析存在多个MSS的情况（例如，同一输入中{"good", "very"}与{"nice"}均存在），表明解释器可能遗漏或错误表示此类替代方案。

实验结果

研究问题

• RQ1 即使在简单透明的模型中，同一模型预测是否可能存在多个真实特征解释？
• RQ2 Shapley值与最小充分子集（MSS）在所追求的解释类型上存在何种根本差异？
• RQ3 Shapley值与MSS解释器在多大程度上无法完整呈现模型的决策过程？
• RQ4 结合两种解释类型是否能比单独使用任一类型提供对模型行为更完整的理解？
• RQ5 当多个有效且不同的解释共存时，为何假设存在单一真实解释是有问题的？

主要发现

• 对于同一模型预测，可能存在多个真实特征解释，例如在相同输入中{"nice"}与{"good", "very"}均为最小充分子集。
• Shapley值以反映特征边际贡献的方式为"good"和"nice"等特征分配非零重要性，但不表明该特征是否单独足以实现预测。
• 最小充分子集解释器可能仅返回一个子集（例如{"nice"}），即使存在多个有效子集，导致解释不完整或产生偏差。
• 在存在冗余或冲突特征的情况下（例如情感分类模型中的"amazing"与"bad"），MSS解释器可能产生误导真实决策逻辑的伪影。
• Shapley值能够区分单独充分的特征与冗余特征，例如即使仅"nice"即可实现预测，仍能显示"good"具有信息量。
• 结合Shapley值与MSS解释可实现更完整的理解——例如，识别出当"nice"存在时"good"为冗余，但在单独存在时仍具信息量。