[论文解读] WeightedSHAP: analyzing and improving Shapley based feature attributions

Yongchan Kwon, James Zou|arXiv (Cornell University)|Sep 27, 2022

Explainable Artificial Intelligence (XAI)被引用 15

一句话总结

本文提出 WeightedSHAP，作为 SHAP 方法的泛化版本，通过学习数据相关的边际贡献权重，改进了传统 Shapley 值归因中均匀加权的局限性，该局限性可能导致次优的特征重要性排序。实验结果表明，WeightedSHAP 在多种数据集上显著提升了预测恢复能力和多项评估指标的表现，优于标准 Shapley 及其他基线方法。

ABSTRACT

Shapley value is a popular approach for measuring the influence of individual features. While Shapley feature attribution is built upon desiderata from game theory, some of its constraints may be less natural in certain machine learning settings, leading to unintuitive model interpretation. In particular, the Shapley value uses the same weight for all marginal contributions -- i.e. it gives the same importance when a large number of other features are given versus when a small number of other features are given. This property can be problematic if larger feature sets are more or less informative than smaller feature sets. Our work performs a rigorous analysis of the potential limitations of Shapley feature attribution. We identify simple settings where the Shapley value is mathematically suboptimal by assigning larger attributions for less influential features. Motivated by this observation, we propose WeightedSHAP, which generalizes the Shapley value and learns which marginal contributions to focus directly from data. On several real-world datasets, we demonstrate that the influential features identified by WeightedSHAP are better able to recapitulate the model's predictions compared to the features identified by the Shapley value.

研究动机与目标

• 识别并分析标准 Shapley 值在机器学习解释中的局限性，特别是其对边际贡献采用均匀加权所带来的问题。
• 证明均匀加权可能导致数学上次优的特征归因，在某些场景下会赋予不相关特征过高的影响力。
• 提出一种灵活、数据驱动的 SHAP 泛化方法，通过学习边际贡献的最优权重来提升归因质量。
• 通过实证验证，WeightedSHAP 能够更准确地识别出能复现模型预测的有影响力特征，优于标准 SHAP。
• 展示 WeightedSHAP 能够有效适应不同的下游评估目标，如预测恢复和包含/排除性能。

提出的方法

• WeightedSHAP 通过用数据学习的加权平均替代标准 Shapley 值中的均匀平均，对边际贡献进行泛化。
• 该方法通过优化目标函数（如预测恢复误差或 AUC）来学习基于模型行为的边际贡献最优权重。
• 权重通过可微分的优化过程学习，能够根据不同联盟规模下边际贡献的信噪比进行自适应调整。
• 该框架与现有 SHAP 实现向后兼容，可应用于任意模型无关的解释任务。
• 该方法支持局部和全局解释，通过学习反映模型在不同特征子集下行为的特征归因。
• 优化步骤中采用灵活的效用函数，可适配不同的评估指标，如包含 AUC 或排除 MSE。

实验结果

研究问题

• RQ1 标准 Shapley 值中对边际贡献的均匀加权是否会导致真实世界机器学习模型中次优的特征重要性排序？
• RQ2 学习数据相关的边际贡献权重是否能提升特征归因在复现模型预测方面的准确性？
• RQ3 WeightedSHAP 在多样化的现实世界数据集和评估指标上，相较于标准 SHAP 及其他基线方法表现如何？
• RQ4 WeightedSHAP 在多大程度上能适应不同的下游目标，如预测恢复或特征包含/排除性能？
• RQ5 WeightedSHAP 的改进是否在不同类型的模型和数据分布下均保持一致？

主要发现

• 在四个二分类数据集中，WeightedSHAP 的预测恢复误差显著低于标准 Shapley 值，平均误差持续降低 10%-20%。
• 在包含 AUC 指标上，WeightedSHAP 在全部四个分类数据集中均优于 Shapley 值，配对 t 检验的 p 值均小于 0.05，表明具有统计显著性。
• 在排除性能评估中，WeightedSHAP 的 MSE 显著低于 Shapley 和 MCI 基线方法，尤其在高维设置下表现更优。
• 该方法在掩码特征包含与排除指标上均表现更优，证明其在不同评估目标下具有鲁棒性。
• WeightedSHAP 一致识别出更多有影响力的特征，能更准确地解释模型预测，经 50 次独立运行验证，置信区间为 95%。
• 改进效果并非局限于单一指标；WeightedSHAP 在 AUC、MSE 和恢复误差等多个评估标准上均优于标准 Shapley。