[论文解读] Ultra-marginal Feature Importance: Learning from Data with Causal Guarantees

Joseph Janssen, Vincent Guan+1 more|arXiv (Cornell University)|Apr 21, 2022

Explainable Artificial Intelligence (XAI)被引用 5

一句话总结

本文提出了一种新型方法——超边际特征重要性（UMFI），用于在具有因果保证的前提下量化观测数据中的特征重要性。通过借鉴公平性文献中的依赖消除技术，创建信息保留且不相关的表征，UMFI 将运行时间从 MCI 方法的指数级降低至超线性，同时在识别相关特征和真正相关特征方面提升了准确性。

ABSTRACT

Scientists frequently prioritize learning from data rather than training the best possible model; however, research in machine learning often prioritizes the latter. Marginal contribution feature importance (MCI) was developed to break this trend by providing a useful framework for quantifying the relationships in data. In this work, we aim to improve upon the theoretical properties, performance, and runtime of MCI by introducing ultra-marginal feature importance (UMFI), which uses dependence removal techniques from the AI fairness literature as its foundation. We first propose axioms for feature importance methods that seek to explain the causal and associative relationships in data, and we prove that UMFI satisfies these axioms under basic assumptions. We then show on real and simulated data that UMFI performs better than MCI, especially in the presence of correlated interactions and unrelated features, while partially learning the structure of the causal graph and reducing the exponential runtime of MCI to super-linear.

研究动机与目标

• 解决现有特征重要性方法在科学推断中的局限性，特别是其对相关特征处理不佳以及计算成本过高的问题。
• 通过引入基于依赖消除的新框架，克服 MCI 的不足——包括指数级运行时间、对相关特征的低估，以及对无关特征的虚假重要性评估。
• 开发一种理论基础坚实的特征重要性方法，满足数据中因果关系与关联关系解释的公理化要求。
• 在保持或提升真实数据与模拟数据集性能的同时，实现超线性的时间复杂度扩展。
• 通过减少模型依赖性和增强特征重要性的鲁棒性，实现从观测数据中进行可靠科学推断。

提出的方法

• 提出一种新的特征重要性公理化框架，优先考虑数据中因果关系与关联关系的解释。
• 通过线性回归和最优传输技术实现依赖消除，生成与目标特征不相关但保留预测信息的特征表征。
• 将 UMFI 定义为在依赖消除后，使用与不使用目标特征训练的模型之间预测能力最大差异。
• 在弱假设下形式化证明 UMFI 满足所提出的公理，确保理论有效性。
• 实现一种可扩展的算法，以超线性时间复杂度计算 UMFI，避免 MCI 的指数级成本。
• 将该方法应用于真实数据集（BRCA、CAMELS）并生成模拟数据，以评估性能与鲁棒性。

实验结果

研究问题

• RQ1 能否设计一种特征重要性方法，使其满足观测数据中因果关系与关联关系解释的理论公理？
• RQ2 通过线性回归或最优传输实现的依赖消除，是否能改善在相关特征存在情况下的特征重要性估计？
• RQ3 UMFI 是否能将计算成本从 MCI 的指数级降低至超线性，同时保持或提升准确性？
• RQ4 在具有复杂依赖关系的真实世界数据集中，UMFI 与 MCI、PI、CPI 及消融实验相比，在识别真正相关特征方面表现如何？
• RQ5 UMFI 在 BRCA 和 CAMELS 数据集中，能在多大程度上恢复已知的生物学与水文关系？

主要发现

• UMFI 将运行时间从 MCI 的指数级降低至超线性，使中大型数据集的实际应用成为可能。
• 在 BRCA 数据集中，UMFI 正确识别出 BCL11A 和 CST9L 为前两位特征，与已知生物学关联一致，同时避免了对 SLC25A1 的虚假重要性评估。
• 在 CAMELS 水文数据集中，UMFI 正确识别出平均降水量和干旱指数为最重要特征，与先前水文研究结果一致。
• UMFI 在识别相关交互效应方面优于 MCI，避免了对联合贡献于响应变量的特征的低估。
• 使用最优传输与线性回归预处理的 UMFI 虽未完全消除特征依赖，但仍能产生可靠的特征重要性评分。
• 在真实数据上，UMFI 的性能与 PI 和 MCI 相当，同时避免了消融实验的高方差和 CPI 的虚假结果。