[论文解读] REPID: Regional Effect Plots with implicit Interaction Detection

Julia Herbinger, Bernd Bischl+1 more|arXiv (Cornell University)|Feb 15, 2022

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

REPID 引入了一种与模型无关的区域效应图框架，通过决策树将特征空间划分为可解释的子组，隐式地检测和量化特征交互作用。该方法通过隔离区域内的特征效应，减少了全局解释中的聚合偏差，在模拟数据和真实世界数据集（如加州房价和糖尿病数据）上表现出更优的交互作用检测与可视化能力。

ABSTRACT

Machine learning models can automatically learn complex relationships, such as non-linear and interaction effects. Interpretable machine learning methods such as partial dependence plots visualize marginal feature effects but may lead to misleading interpretations when feature interactions are present. Hence, employing additional methods that can detect and measure the strength of interactions is paramount to better understand the inner workings of machine learning models. We demonstrate several drawbacks of existing global interaction detection approaches, characterize them theoretically, and evaluate them empirically. Furthermore, we introduce regional effect plots with implicit interaction detection, a novel framework to detect interactions between a feature of interest and other features. The framework also quantifies the strength of interactions and provides interpretable and distinct regions in which feature effects can be interpreted more reliably, as they are less confounded by interactions. We prove the theoretical eligibility of our method and show its applicability on various simulation and real-world examples.

研究动机与目标

• 为解决如部分依赖图等全局解释方法中的聚合偏差问题，这些方法在存在交互作用时可能扭曲特征效应的表示。
• 开发一种方法，识别特征空间中特征效应受交互作用干扰较小的可解释子组。
• 量化感兴趣特征与其他特征之间交互作用的强度，从而实现按重要性对交互作用进行排序。
• 结合局部可解释性（通过子组）与全局洞察，提供一种在局部与全局解释方法之间取得平衡的综合方法。
• 提供一个理论基础坚实、可复现的框架，用于检测和可视化复杂机器学习模型中的交互作用。

提出的方法

• 该方法使用决策树根据感兴趣特征及其潜在交互作用，将特征空间划分为不同的、可解释的子组。
• 在每个子组内，计算区域效应图（REPs）以可视化感兴趣特征的边际效应，从而最小化交互作用带来的混淆。
• 提出一种新颖的交互作用检测度量方法，基于子组间预测结果的方差分解，量化感兴趣特征与其他特征之间交互作用的强度。
• 该方法与模型无关，可在训练任何黑箱模型后应用。
• 从 SHAP 交互值推导出全局交互作用指数，用于对比评估。
• 该框架整合了 ICE 曲线可视化，以检测异质效应，随后在子组内对这些效应进行局部化与量化。

实验结果

研究问题

• RQ1 如何在不依赖全局聚合（会掩盖异质效应）的前提下，检测并量化机器学习模型中的特征交互作用？
• RQ2 我们能否在特征空间中识别出可解释的子组，使得感兴趣特征的效应更可靠且受交互作用干扰更小？
• RQ3 所提出的交互作用检测度量方法与 H 统计量和 Greenwell 的交互作用指数相比，在准确性和可解释性方面表现如何？
• RQ4 区域效应图在存在复杂交互作用的情况下，能在多大程度上提高全局模型解释的可靠性？
• RQ5 该方法能否在真实世界数据集中揭示隐藏偏差或子组特定效应，例如在住房或医疗保健应用中？

主要发现

• REPID 成功识别出感兴趣特征效应显著变化的子组，减少了全局解释中的聚合偏差。
• 在加州房价数据集中，经度与纬度之间的交互作用重要性为 0.49，与海洋接近程度的交互作用重要性为 0.18，交互作用强度的 R² 为 0.67。
• 在糖尿病数据集中，皮肤褶皱厚度对糖尿病风险的影响呈非单调性，且在由 Glu（交互作用重要性 0.29）和年龄（0.09）定义的子组中表现出明显不同的模式，R²_int = 0.49。
• 该方法在检测和排序交互作用方面优于 H 统计量和 Greenwell 的交互作用指数，尤其在非线性和异质效应情况下表现更优。
• 该框架揭示了经度对房屋价值的影响随纬度增加而减弱，并且在靠近海洋的区域存在差异，这一现象在全局 PD 图中并不明显。
• 该实现已公开发布，确保了完全可复现性，并为研究人员和实践者提供了广泛可及性。