[论文解读] SHAP for additively modeled features in a boosted trees model

M. Mayer|arXiv (Cornell University)|Jul 29, 2022

Model Reduction and Neural Networks被引用 8

一句话总结

本文证明，在通过树深度约束或交互作用约束实现特征加法建模的梯度提升树模型中，SHAP依赖图在垂直偏移的意义上与部分依赖图（PDPs）在数学上等价。这种等价性使得SHAP图可被解释为其他条件不变效应，从而无需损失可解释性即可直接用于全局模型解释，尤其在特征被加法建模时适用。

ABSTRACT

An important technique to explore a black-box machine learning (ML) model is called SHAP (SHapley Additive exPlanation). SHAP values decompose predictions into contributions of the features in a fair way. We will show that for a boosted trees model with some or all features being additively modeled, the SHAP dependence plot of such a feature corresponds to its partial dependence plot up to a vertical shift. We illustrate the result with XGBoost.

研究动机与目标

• 研究在加法建模特征的梯度提升树模型中，SHAP依赖图与部分依赖图（PDPs）之间的关系。
• 确定在加法建模条件下，SHAP依赖图是否可作为PDPs的有效且可解释的替代方案。
• 使用XGBoost和真实世界保险数据，在实际场景中验证SHAP与PDPs之间的理论等价性。
• 提供在何种条件下以及如何将SHAP依赖图解释为其他条件不变效应图的指导。

提出的方法

• 利用Shapley值和合作博弈论进行理论分析，建立在加法特征建模下SHAP值与PDPs之间的数学等价性。
• 应用TreeSHAP算法，高效计算XGBoost模型中受控树深度和交互作用约束的SHAP值。
• 通过设置max_depth = 1（完全加法）或使用交互作用约束（部分加法），使特征建模为加法，确保选定特征无交互效应。
• 使用OpenML数据集（ID 42876）中的保险索赔数据子集，对SHAP依赖图与PDPs进行实证比较。
• 对SHAP图进行垂直平移，使其与PDPs对齐，以实现直接的视觉与定量比较。
• 在XGBoost中使用伽马回归与对数链接函数建模最终索赔金额，模型在80%的数据上进行训练与解释，并在1,000个采样行上进行评估。

实验结果

研究问题

• RQ1 在何种条件下，梯度提升树模型中某一特征的SHAP依赖图与其部分依赖图重合？
• RQ2 当梯度提升树模型中特征被加法建模时，SHAP依赖图是否可被解释为其他条件不变效应图？
• RQ3 交互作用约束或树深度限制的存在如何影响SHAP图与PDP图之间的关系？
• RQ4 SHAP依赖图在加法模型中在多大程度上保持了PDP图的可解释性？

主要发现

• 在梯度提升树模型中，若特征被加法建模，则SHAP依赖图在垂直偏移的意义上与部分依赖图在数学上等价。
• 在完全加法模型（max_depth = 1）中，所有特征的SHAP依赖图均与对应PDP图完全平行，证实了理论等价性。
• 在具有交互作用约束的部分加法模型中，仅加法建模的特征（DateNum和Female）显示出与PDP图平行的SHAP图，而其他特征则呈现散点模式，表明存在交互效应。
• SHAP图与PDP图之间的垂直偏移是恒定的，且不影响效应形状或解释，因此可直接将SHAP图用作可解释的效应可视化工具。
• 在对数期望最终索赔金额上，女性身份的影响估计为+0.32（8.85 – 8.53），该结果在加法模型中SHAP图与PDP图中保持一致。
• SHAP图与PDP图的一致性仅存在于真正加法的特征上；具有交互效应的特征在SHAP依赖图中表现出发散模式，表明其行为非加法。