[论文解读] Randomized Ablation Feature Importance

Luke Merrick|arXiv (Cornell University)|Oct 1, 2019

Anomaly Detection Techniques and Applications参考文献 7被引用 7

一句话总结

本文将随机化遮蔽特征重要性形式化为一种理论基础坚实的机器学习模型特征相关性度量方法，通过评估特征被随机替换时模型性能的下降程度来实现。该方法引入了特征重要性的置信区间，提供了现有实现中缺失的不确定性量化。

ABSTRACT

Given a model $f$ that predicts a target $y$ from a vector of input features $\pmb{x} = x_1, x_2, \ldots, x_M$, we seek to measure the importance of each feature with respect to the model's ability to make a good prediction. To this end, we consider how (on average) some measure of goodness or badness of prediction (which we term "loss" $\ell$), changes when we hide or ablate each feature from the model. To ablate a feature, we replace its value with another possible value randomly. By averaging over many points and many possible replacements, we measure the importance of a feature on the model's ability to make good predictions. Furthermore, we present statistical measures of uncertainty that quantify how confident we are that the feature importance we measure from our finite dataset and finite number of ablations is close to the theoretical true importance value.

研究动机与目标

• 为一种广泛使用但缺乏正式理论依据的模型可解释性技术——随机化遮蔽特征重要性，提供严谨的理论基础。
• 在统计学习理论框架内，特别是风险最小化框架中，形式化该方法，以增强其概念与数学基础。
• 为特征重要性估计引入置信区间，解决现有实现中缺乏不确定性量化的问题。
• 澄清该方法在随机变量与固定数据两种表述形式之间的区别，确保在不同应用场景中的一致性解读。

提出的方法

• 本文将特征重要性定义为：当某一特征被其边缘分布的随机抽样值替换时，风险（损失）的期望增加量，形式化为 ΔRi = R\i(f) − R(f)。
• 提出两种表述形式：基于真实数据分布的随机变量表述，以及使用经验数据样本近似理论期望的固定数据表述。
• 在实际实现中，该方法采用蒙特卡洛采样：对每个数据点，从其经验分布中独立抽取 K 次特征的随机替换值，并计算损失增加的平均值。
• 经验特征重要性通过所有数据点和遮蔽样本的损失差值均值得到估计，使用公式 10 计算平均遮蔽效应。
• 通过均值标准误（SEM）量化统计不确定性，95% 置信区间使用 t 分布或正态近似（如 ±1.96 × SEM）构建。
• 该方法假设特征及其替换值的经验分布是真实底层分布的良好近似，从而支持基于采样的有效估计。

实验结果

研究问题

• RQ1 如何在统计学习理论中，特别是在风险最小化框架内，为随机化遮蔽特征重要性提供正式的理论基础？
• RQ2 随机变量与固定数据两种表述形式在理论上的区别是什么？在何种情况下应分别使用？
• RQ3 如何量化特征重要性估计中的不确定性？构建置信区间的合适统计方法是什么？
• RQ4 在标准假设下，该方法的经验实现能在多大程度上准确逼近理论特征重要性？

主要发现

• 本文证明，随机化遮蔽特征重要性在数学上等价于测量当某一特征被其边缘分布的随机抽样值替换时，风险的期望增加量。
• 固定数据表述提供了一种使用经验数据的实用特征重要性估计器，且在采样一致性假设下，该估计会收敛到理论值。
• 该方法可通过均值标准误构建特征重要性的置信区间，95% 置信区间近似为 ΔR̂ ± 1.96 × √(σ̂²/N)。
• 所提出的不确定性量化是新颖的贡献，因为此前的置换重要性实现（如 scikit-learn 中的实现）并未包含此类统计置信度量。
• 理论框架明确指出，被遮蔽的特征应从 X_i 的边缘分布中独立抽取值替换，以确保其对预测 Y 无信息量。
• 在较弱的正则性条件下，该方法被证明是真实特征重要性的相合估计器，尤其当遮蔽样本数 K 足够大时。