[论文解读] Please Stop Permuting Features: An Explanation and Alternatives.

Giles Hooker, Lucas Mentch|arXiv (Cornell University)|May 1, 2019

Explainable Artificial Intelligence (XAI)参考文献 32被引用 87

一句话总结

本文认为，用于解释黑箱模型的排列-预测（PaP）方法由于人为破坏了特征依赖关系，从根本上存在缺陷，导致解释结果误导性增强——尤其在特征相关时更为明显。本文提出了替代方法，如特征移除、条件排列和模型蒸馏，以提供更可靠的模型解释度量。

ABSTRACT

This paper advocates against permute-and-predict (PaP) methods for interpreting black box functions. Methods such as the variable importance measures proposed for random forests, partial dependence plots, and individual conditional expectation plots remain popular because of their ability to provide model-agnostic measures that depend only on the pre-trained model output. However, numerous studies have found that these tools can produce diagnostics that are highly misleading, particularly when there is strong dependence among features. Rather than simply add to this growing literature by further demonstrating such issues, here we seek to provide an explanation for the observed behavior. In particular, we argue that breaking dependencies between features in hold-out data places undue emphasis on sparse regions of the feature space by forcing the original model to extrapolate to regions where there is little to no data. We explore these effects through various settings where a ground-truth is understood and find support for previous claims in the literature that PaP metrics tend to over-emphasize correlated features both in variable importance and partial dependence plots, even though applying permutation methods to the ground-truth models do not. As an alternative, we recommend more direct approaches that have proven successful in other settings: explicitly removing features, conditional permutations, or model distillation methods.

研究动机与目标

• 解释为何在特征依赖存在的情况下，排列-预测（PaP）方法会产生误导性解释。
• 证明即使在真实模型上应用，PaP方法也会在变量重要性和部分依赖图中过度强调相关特征。
• 通过根因分析揭示其失效机制，挑战PaP方法的广泛使用，尽管其已知存在问题。
• 倡导采用更可靠、直接的解释方法，如特征移除、条件排列和模型蒸馏。
• 在已知真实行为的受控环境中提供实证证据，表明PaP方法失效而替代方法成功。

提出的方法

• 通过破坏保留数据中自然的特征依赖关系，分析特征排列对模型外推的影响。
• 使用已知真实模型的受控实验，隔离特征依赖对PaP诊断的影响。
• 将PaP方法生成的度量（如变量重要性、部分依赖）与特征移除和条件排列等替代方法进行比较。
• 采用模型蒸馏方法训练保留特征依赖关系的代理模型，从而实现更忠实的解释。
• 通过将预测的变量重要性和部分依赖趋势与真实模型行为进行对比，评估解释质量。
• 聚焦于特征空间的稀疏区域，PaP方法迫使模型外推，导致输出失真。

实验结果

研究问题

• RQ1 为何在特征相关时，排列-预测方法会产生误导性解释？
• RQ2 在排列过程中破坏特征依赖关系，如何导致相关特征在重要性和部分依赖图中被高估？
• RQ3 在已知真实模型的受控环境中，PaP方法在应用于真实模型时，其失效程度如何？
• RQ4 替代方法如条件排列或模型蒸馏能否产生更准确、更可靠的模型解释？
• RQ5 特征移除和模型蒸馏在保留数据真实函数关系方面，与PaP方法相比表现如何？

主要发现

• 由于强制外推至特征空间的稀疏区域，排列-预测方法在变量重要性和部分依赖图中过度强调相关特征。
• 即使在真实模型上应用相同的PaP方法，仍会产生误导性结果，表明该缺陷是方法固有的，而非模型特异性错误。
• 在排列过程中破坏特征依赖关系，会导致模型在数据稀疏区域进行预测，从而扭曲对特征效应的解释。
• 条件排列和特征移除通过保留自然的特征关系并避免外推，能产生更准确的解释。
• 保留特征依赖关系的模型蒸馏方法可生成更忠实的代理模型，相比PaP方法显著提升可解释性。
• 在已知真实行为的环境中，PaP诊断系统性地偏离真实特征效应，尤其在强特征相关时更为明显。