[论文解读] Understanding Global Feature Contributions With Additive Importance Measures
本文通过可加框架统一全局特征重要性，并引入 SAGE，一种基于 Shapley 值的模型无关方法，用于考虑特征交互并提供更快速、可靠的全局解释。
Understanding the inner workings of complex machine learning models is a long-standing problem and most recent research has focused on local interpretability. To assess the role of individual input features in a global sense, we explore the perspective of defining feature importance through the predictive power associated with each feature. We introduce two notions of predictive power (model-based and universal) and formalize this approach with a framework of additive importance measures, which unifies numerous methods in the literature. We then propose SAGE, a model-agnostic method that quantifies predictive power while accounting for feature interactions. Our experiments show that SAGE can be calculated efficiently and that it assigns more accurate importance values than other methods.
研究动机与目标
- 用预测能力及其与特征子集的相互作用来定义全局特征重要性。
- 引入一个用于多种现有方法的可加重要性度量的统一框架。
- 提出 SAGE，一种使用 Shapley 值来考虑特征交互的模型无关方法。
- 提供一种高效的基于采样的近似方法，用于计算 SAGE 值，并给出不确定性估计。
- 证明 SAGE 能产生更准确的特征归因并能够检测被污染的特征。
提出的方法
- 通过基于模型的和通用度量来形式化对特征子集的预测能力。
- 定义可加重要性度量，其中代理 u(S) 通过 u(S)=phi0+sum_{i in S} phi_i 来近似 v(S)。
- 介绍 SAGE，作为 v_f 的 Shapley 值，即来自特征子集的模型预测能力。
- 提出一种基于采样的算法，用于近似 SAGE 值，具备收敛性保证和不确定性估计。
- 展示 SAGE 与 SHAP 之间的联系，并讨论对可逆特征变换的不变性。
- 提供一种高效的计算方法，在全局解释方面优于简单的基于 SHAP 的计算。
实验结果
研究问题
- RQ1如何在跨越特征子集的预测能力方面定义全局特征重要性？
- RQ2可加重要性度量如何统一现有的全局特征重要性方法？
- RQ3在考虑交互的同时，SAGE 能否准确量化模型对每个特征的依赖？
- RQ4是否存在高效的、模型无关的方式来计算带有不确定性估计的 SAGE 值？
- RQ5SAGE 值是否与直觉和理论性质（如 Shapley 公理、在最优设置下的互信息）一致？
主要发现
- SAGE 将特征重要性分配为基于模型预测能力的 Shapley 值，其和等于总预测能力。
- SAGE 满足效率性、对称性、虚拟变量、单调性和线性性等性质，使其成为一个有原则性的信用分配。
- SAGE 对可逆特征变换不变，并与 SHAP 相关，在特征域上为 v_f 提供可加近似。
- 基于采样的 SAGE 近似显著比简单的局部 SHAP 计算更快，并提供不确定性估计。
- 经验比较表明，在多个数据集上，SAGE 相较于如置换检验、平均重要性和消融等基线方法，更准确地反映预测能力。
- SAGE 可以帮助在次优模型中识别被污染的特征，并随时间监控模型完整性。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。