[论文解读] Triplot: model agnostic measures and visualisations for variable importance in predictive models that take into account the hierarchical correlation structure

Katarzyna Pȩkala, Katarzyna Woźnica+1 more|arXiv (Cornell University)|Apr 7, 2021

Explainable Artificial Intelligence (XAI)参考文献 6被引用 5

一句话总结

本文提出Triplot，一种模型无关的变量重要性分析框架，能够考虑特征之间的层次相关性。通过将相关变量分组为'方面'，并结合块置换与LIME启发式方法，该方法在全局和局部模型解释中提升了可解释性。在真实世界数据集上的实证验证表明，该方法有效降低了多重共线性导致的误解释风险。

ABSTRACT

One of the key elements of explanatory analysis of a predictive model is to assess the importance of individual variables. Rapid development of the area of predictive model exploration (also called explainable artificial intelligence or interpretable machine learning) has led to the popularization of methods for local (instance level) and global (dataset level) methods, such as Permutational Variable Importance, Shapley Values (SHAP), Local Interpretable Model Explanations (LIME), Break Down and so on. However, these methods do not use information about the correlation between features which significantly reduce the explainability of the model behaviour. In this work, we propose new methods to support model analysis by exploiting the information about the correlation between variables. The dataset level aspect importance measure is inspired by the block permutations procedure, while the instance level aspect importance measure is inspired by the LIME method. We show how to analyze groups of variables (aspects) both when they are proposed by the user and when they should be determined automatically based on the hierarchical structure of correlations between variables. Additionally, we present the new type of model visualisation, triplot, which exploits a hierarchical structure of variable grouping to produce a high information density model visualisation. This visualisation provides a consistent illustration for either local or global model and data exploration. We also show an example of real-world data with 5k instances and 37 features in which a significant correlation between variables affects the interpretation of the effect of variable importance. The proposed method is, to our knowledge, the first to allow direct use of the correlation between variables in exploratory model analysis.

研究动机与目标

• 为解决现有模型解释方法忽略特征相关性，导致解释误导的问题。
• 开发一个统一框架，用于全局与局部变量重要性分析，同时考虑特征之间的层次相关性。
• 提出一种新型可视化技术——三联图（triplot），将相关性结构、特征组与预测贡献整合于单一高信息密度图表中。
• 支持基于相关性结构的用户自定义与自动推导的变量分组，以提升模型可解释性。
• 在相关特征显著影响模型解释的真实世界数据集中，验证该方法的有效性。

提出的方法

• 提出一种受块置换程序启发的全局变量重要性度量方法，可考虑相关特征组的影响。
• 提出一种基于LIME的局部变量重要性方法，经调整后使用分组后的'方面'而非单个变量来解释预测结果。
• 利用特征相关性的层次聚类，自动识别有意义的变量分组（即'方面'）用于解释。
• 开发三联图可视化方法，包含三个面板：特征相关性结构、方面重要性与预测贡献。
• 采用模型无关的计算方式，确保与各类预测模型（包括黑箱模型）的兼容性。
• 在R语言包'**triplot**'中实现该方法，采用GPL-3.0许可证，GitHub开源，支持可复现研究。

实验结果

研究问题

• RQ1 如何重新定义变量重要性，以考虑预测模型中特征之间的层次相关性？
• RQ2 忽略特征相关性在多大程度上会导致模型解释中的误导性结论？
• RQ3 对相关特征进行自动分组，能否提升局部与全局模型解释的稳定性和可解释性？
• RQ4 三联图可视化在多大程度上增强了跨不同分析层次的模型行为传达？
• RQ5 在高维且高度相关的数据集中，特征分组对模型解释的准确性与可靠性有何影响？

主要发现

• 所提方法显著降低了因多重共线性导致的变量重要性误判风险，尤其在高度相关的特征数据集中效果明显。
• 在FIFA数据集中，'移动'、'技术'与'心智'等方面对球员价值预测有显著正向贡献，而'防守'与'守门'方面则影响微弱或为负。
• 三联图可视化成功整合了相关性结构、方面重要性与预测贡献，实现了全局与局部解释的一致性解读。
• 通过相关性结构实现的自动分组揭示，部分特征组（如'身体参数'与'攻击性'）对预测影响可忽略，从而提升了解释的聚焦性。
• 在包含5,000个样本、37个特征且特征相关性高的数据集中，该方法在稳定性和可解释性方面优于标准变量重要性方法。
• Triplot R包支持基于相关性感知的变量分组，实现可复现的开源模型解释分析，支持手动与自动创建方面。