[论文解读] Unrestricted Permutation forces Extrapolation: Variable Importance Requires at least One More Model, or There Is No Free Variable Importance

Giles Hooker, Lucas Mentch+1 more|arXiv (Cornell University)|May 1, 2019

Explainable Artificial Intelligence (XAI)参考文献 45被引用 38

一句话总结

本文批评在黑箱模型中用于特征重要性的置换与预测方法，指出它们可能因外推而过度强调相关特征，并主张重新学习或条件扰动方法作为更可靠的替代方案。

ABSTRACT

This paper reviews and advocates against the use of permute-and-predict (PaP) methods for interpreting black box functions. Methods such as the variable importance measures proposed for random forests, partial dependence plots, and individual conditional expectation plots remain popular because they are both model-agnostic and depend only on the pre-trained model output, making them computationally efficient and widely available in software. However, numerous studies have found that these tools can produce diagnostics that are highly misleading, particularly when there is strong dependence among features. The purpose of our work here is to (i) review this growing body of literature, (ii) provide further demonstrations of these drawbacks along with a detailed explanation as to why they occur, and (iii) advocate for alternative measures that involve additional modeling. In particular, we describe how breaking dependencies between features in hold-out data places undue emphasis on sparse regions of the feature space by forcing the original model to extrapolate to regions where there is little to no data. We explore these effects across various model setups and find support for previous claims in the literature that PaP metrics can vastly over-emphasize correlated features in both variable importance measures and partial dependence plots. As an alternative, we discuss and recommend more direct approaches that involve measuring the change in model performance after muting the effects of the features under investigation.

研究动机与目标

• 评估文献，揭示 PaP（置换与预测）在变量重要性及相关图（VI、PDP、ICE）中的缺陷。
• 通过仿真与解释演示特征依赖性如何在 PaP 测度中引发外推偏差。
• 倡导需要额外建模或条件扰动以避免外推的替代重要性度量。
• 讨论在解释黑箱模型时的实际影响，并提出以重新学习或条件扰动为核心的 gold-standard 做法。

提出的方法

• 给出一个简单的带有 10 个特征且受控相关结构的模拟线性模型，以说明 PaP 测度中的偏差。
• 训练随机森林和神经网络以估计底层函数并计算 VI^π、VI^o、PDP 和 ICE。
• 在标准化下（定理 1）理论地将置换重要性与线性模型的平方系数联系起来。
• 通过等高线图、ICE 和 PDP 分析，在不同相关系数 ρ 和样本量 N 下可视化外推效应。
• 将 PaP 与涉及条件扰动或重新学习的替代方法（LOCO、knockoffs、模型类别依赖）进行比较。
• 使用潜在最近邻（pNN）和叶子节点的概念，讨论树模型和神经网络中的外推机制。
• 就何时以及如何使用更稳健的重要性度量提供指南。

实验结果

研究问题

• RQ1 当特征在统计上相互依赖时，PaP 基于的变量重要性度量表现如何？
• RQ2 相关特征在多大程度上导致 PaP 方法过度强调某些变量或歪曲其真实重要性？
• RQ3 以对剩余特征进行条件化或重新学习模型的替代方法是否能减轻特征重要性中的外推偏差？
• RQ4 在标准化下，置换重要性与线性模型系数之间存在哪些理论联系？
• RQ5 哪些实际建议可以确保对黑箱模型的解释更可靠？

主要发现

• 当特征相关时，PaP 度量在变量重要性和部分依赖性图中都可能过度强调相关特征。
• 在特征标准化的线性模型中，置换重要性等于系数平方乘以该特征的边际平方和，与系数大小一致，但在存在相关性的灵活模型（RF、NN）下，由于外推，该关系会破坏。
• 外推使 PaP 在数据很少或没有数据的区域评估预测，从而抬高相关特征的重要性。
• 在相关性下，部分依赖（PDP）和 ICE 图可能误解特征效应，神经网络比随机森林的不稳定性更大。
• 以对剩余特征进行条件化或重新学习模型的替代方法（如 LOCO、条件随机化检验、knockoffs）避免外推，提供更可靠的重要性评估。
• 提出一个条件化与重新学习的框架作为评估特征重要性的金标准，尽管并非完全免疫于问题。