[论文解读] Variable Importance Clouds: A Way to Explore Variable Importance for the Set of Good Models

Jiayun Dong, Cynthia Rudin|arXiv (Cornell University)|Jan 10, 2019

Explainable Artificial Intelligence (XAI)参考文献 13被引用 15

一句话总结

本文提出了变量重要性云（VIC），一种用于可视化和分析所有近乎同样准确的预测模型（Rashomon集合）中变量重要性的框架，揭示了变量重要性在不同模型间的动态变化。该研究提出变量重要性图（VIDs）用于二维可视化，表明某些特征在某些表现良好的模型中重要，但在其他模型中却不重要，尤其在特征相关性或模型权衡条件下更为显著。

ABSTRACT

Variable importance is central to scientific studies, including the social sciences and causal inference, healthcare, and other domains. However, current notions of variable importance are often tied to a specific predictive model. This is problematic: what if there were multiple well-performing predictive models, and a specific variable is important to some of them and not to others? In that case, we may not be able to tell from a single well-performing model whether a variable is always important in predicting the outcome. Rather than depending on variable importance for a single predictive model, we would like to explore variable importance for all approximately-equally-accurate predictive models. This work introduces the concept of a variable importance cloud, which maps every variable to its importance for every good predictive model. We show properties of the variable importance cloud and draw connections to other areas of statistics. We introduce variable importance diagrams as a projection of the variable importance cloud into two dimensions for visualization purposes. Experiments with criminal justice, marketing data, and image classification tasks illustrate how variables can change dramatically in importance for approximately-equally-accurate predictive models

研究动机与目标

• 解决传统变量重要性方法的局限性，即其依赖于单一预测模型，当存在多个表现良好的模型时可能遗漏关键洞察。
• 构建变量重要性的整体视图，涵盖Rashomon集合中的所有模型——即具有近似相等预测性能的模型集合。
• 通过揭示变量重要性在不同表现良好模型间的差异，实现模型选择与解释，尤其在特征相关性或模型权衡条件下。
• 引入可视化工具（VIDs），将高维VIC投影至二维，以直观理解变量重要性之间的关系。
• 通过真实世界问题（包括刑事司法、市场营销和图像分类）展示该框架的实用性，其中变量重要性高度依赖于模型。

提出的方法

• 将Rashomon集合定义为所有训练损失低于预设阈值的模型集合，代表近乎同样准确的模型。
• 将变量重要性云（VIC）构建为一个集合，其中每个元素对应Rashomon集合中一个模型的特征重要性向量，每个向量编码了该模型中各特征的重要性。
• 使用Breiman的基于置换的变量重要性度量方法（特征随机置换后损失的增加量）计算Rashomon集合中每个模型的特征重要性。
• 通过变量重要性图（VIDs）将高维VIC投影至二维，以展示不同模型间特征重要性之间的成对关系。
• 通过斜率模式可视化VIDs：上升斜率表示重要性共现，下降斜率表示权衡关系，水平/垂直线则表明独立性。
• 通过在Rashomon集合中为每个模型计算重要性，将该框架扩展至非线性模型，包括逻辑回归、决策树和深度学习模型（如VGG16）。

实验结果

研究问题

• RQ1 在Rashomon集合中，某一特征的重要性如何在不同表现良好的模型间变化？
• RQ2 我们能否检测到模型层面的权衡关系，即某一特征仅在另一特征不重要时才变得重要，尤其是在特征相关性条件下？
• RQ3 当仅分析单一模型的变量重要性时，其误导性程度如何？与全面考虑所有表现良好模型的集合相比？
• RQ4 如何以支持模型解释与选择的方式，可视化所有表现良好模型中变量重要性的联合分布？
• RQ5 VIC/VID框架在真实世界数据集（如刑事再犯预测、优惠券推荐和图像分类）中揭示了哪些洞察？

主要发现

• 在ProPublica刑事司法数据集中，'age'和'prior_convictions'等变量在Rashomon集合中不同模型间的显著重要性差异表明，其重要性具有模型依赖性。
• 在车内优惠券推荐数据集中，VIC揭示了'car'与'destination'特征之间存在明显权衡：依赖其中一个特征的模型通常会排除另一个，表明特征之间存在冗余或竞争关系。
• 在使用VGG16进行图像分类时，VIC显示显著不同的显著性图模式（一种变量重要性的形式）：不同模型对图像中不同区域赋予了重要性。
• VIDs成功捕捉了复杂关系：上升投影表示重要性共现，下降投影揭示了权衡关系，尤其在特征相关性条件下表现明显。
• VIC框架揭示，某一高精度模型中被认为重要的特征，在另一个同样准确的模型中可能几乎无关，这挑战了基于单一模型的后验变量重要性分析的可靠性。
• 该方法表明，若不置于所有表现良好模型的完整集合中进行上下文化分析，传统后验变量重要性方法（如系数或注意力图）可能具有误导性。