[论文解读] Statistically Valid Variable Importance Assessment through Conditional Permutations

Ahmad Chamma, Denis A. Engemann+1 more|arXiv (Cornell University)|Sep 14, 2023

Statistical Methods in Clinical Trials被引用 6

一句话总结

本文提出条件置换重要性（CPI）作为一种在高维、相关数据中具有统计有效性且与模型无关的变量重要性评估方法——尤其适用于生物医学应用。通过在其他协变量上进行条件置换，CPI 确保了第一类错误控制，其在检测真实预测变量方面优于标准置换方法，同时在存在相关性时显著减少假阳性结果，尤其在使用深度神经网络和真实世界医学数据时表现优异。

ABSTRACT

Variable importance assessment has become a crucial step in machine-learning applications when using complex learners, such as deep neural networks, on large-scale data. Removal-based importance assessment is currently the reference approach, particularly when statistical guarantees are sought to justify variable inclusion. It is often implemented with variable permutation schemes. On the flip side, these approaches risk misidentifying unimportant variables as important in the presence of correlations among covariates. Here we develop a systematic approach for studying Conditional Permutation Importance (CPI) that is model agnostic and computationally lean, as well as reusable benchmarks of state-of-the-art variable importance estimators. We show theoretically and empirically that $ extit{CPI}$ overcomes the limitations of standard permutation importance by providing accurate type-I error control. When used with a deep neural network, $ extit{CPI}$ consistently showed top accuracy across benchmarks. An experiment on real-world data analysis in a large-scale medical dataset showed that $ extit{CPI}$ provides a more parsimonious selection of statistically significant variables. Our results suggest that $ extit{CPI}$ can be readily used as drop-in replacement for permutation-based methods.

研究动机与目标

• 解决标准置换重要性在协变量相关设置下的关键局限性，即其会错误地将不重要的变量识别为显著变量。
• 开发一个理论基础坚实、计算高效的条件置换重要性（CPI）框架，确保在特征依赖情况下的统计有效性。
• 在特征相关性普遍存在的复杂高维生物医学数据（如多模态神经影像和遗传数据）中实现可靠的变量选择。
• 提供一个可重用的基准测试库，用于在多样化数据生成情景和相关性水平下评估变量重要性估计器。
• 在真实世界医学数据集中展示 CPI 的实际效用，证明其能够实现简洁且统计上可靠的变量选择。

提出的方法

• 提出一种条件置换方案，仅在其他协变量的固定水平内置换目标变量，从而保留其联合依赖结构。
• 使用深度神经网络（DNN）作为基础学习器以实现高预测性能，同时使用随机森林作为条件概率估计器以提升计算效率。
• 将 CPI 集成到两阶段框架中：首先估计给定其他特征的目标变量条件分布，然后通过条件置换计算重要性。
• 在无重要性原假设下利用基于置换的 p 值，并通过理论依据支持在条件置换下的第一类错误控制。
• 实现一个可重用的开源库（GitHub: achamma723/Variable_Importance），用于 CPI 的模拟与真实世界应用，并支持基准测试。
• 通过经验零分布校准 p 值，并在模拟和真实数据中验证正态性假设。

实验结果

研究问题

• RQ1 在存在相关预测变量的情况下，条件置换重要性（CPI）是否能保持有效的第一类错误控制，而标准置换重要性则不能？
• RQ2 CPI 在不同数据生成机制和相关性结构下，与现有变量重要性方法（如 Permfit、Lazy VI）相比，在检测真实预测变量方面表现如何？
• RQ3 CPI 是否能与高度表达的模型（如深度神经网络）有效结合，同时不牺牲统计有效性？
• RQ4 在具有高维、相关特征的真实世界生物医学数据集中，CPI 对变量选择的简洁性和假阳性控制有何影响？
• RQ5 CPI 在多模态数据（如神经影像和基因组学）中，能在多大程度上保持统计效能的同时减少虚假重要性？

主要发现

• CPI 在所有模拟情景下均实现了严格的第一类错误控制，包括高相关性和复杂交互结构，而标准置换方法在依赖条件下失效。
• CPI-DNN 在所有基准测试中均优于 Permfit-DNN 和其他基线方法，AUC 表现更优，且在不同数据生成过程中对相关变量的检测始终具有高精度。
• 在对大规模医学数据集（UK Biobank）的真实世界分析中，CPI-DNN 选择的重要变量数量少于 Permfit-DNN，表明其对假阳性的控制更严格。
• 该方法对相关性表现出强鲁棒性，即使在低相关性水平和小样本量下，标准置换方法也出现了显著性能下降。
• 理论分析证实，CPI 的条件置换机制解决了在相关特征下边际置换重要性存在的根本缺陷。
• 实证验证表明，CPI 的 p 值在原假设下校准良好，支持使用标准正态近似进行统计推断。