[论文解读] Trying to Outrun Causality with Machine Learning: Limitations of Model Explainability Techniques for Identifying Predictive Variables

Matthew J. Vowels|arXiv (Cornell University)|Feb 20, 2022

Explainable Artificial Intelligence (XAI)被引用 7

一句话总结

本文表明，即使某些变量与结果强相关，机器学习可解释性技术（如随机森林中的变量重要性、神经网络中的Shapley值）也可能因数据中潜在的因果结构而错误识别出关键预测变量。主要贡献在于警示研究人员不应将这些方法用于科学发现，而应改用互信息和因果发现技术以实现可靠的变量识别。

ABSTRACT

Machine Learning explainability techniques have been proposed as a means of `explaining' or interrogating a model in order to understand why a particular decision or prediction has been made. Such an ability is especially important at a time when machine learning is being used to automate decision processes which concern sensitive factors and legal outcomes. Indeed, it is even a requirement according to EU law. Furthermore, researchers concerned with imposing overly restrictive functional form (e.g., as would be the case in a linear regression) may be motivated to use machine learning algorithms in conjunction with explainability techniques, as part of exploratory research, with the goal of identifying important variables which are associated with an outcome of interest. For example, epidemiologists might be interested in identifying `risk factors' - i.e. factors which affect recovery from disease - by using random forests and assessing variable relevance using importance measures. However, and as we demonstrate, machine learning algorithms are not as flexible as they might seem, and are instead incredibly sensitive to the underling causal structure in the data. The consequences of this are that predictors which are, in fact, critical to a causal system and highly correlated with the outcome, may nonetheless be deemed by explainability techniques to be unrelated/unimportant/unpredictive of the outcome. Rather than this being a limitation of explainability techniques per se, we show that it is rather a consequence of the mathematical implications of regression, and the interaction of these implications with the associated conditional independencies of the underlying causal structure. We provide some alternative recommendations for researchers wanting to explore the data for important variables.

研究动机与目标

• 调查模型可解释性技术在识别机器学习模型中真正预测变量方面的局限性。
• 证明尽管机器学习模型具有灵活性，但其对数据中潜在因果结构敏感，导致重要性排序产生误导。
• 挑战一种普遍假设，即可解释性方法能够可靠地揭示数据中的统计或预测关联，以供科学探索。
• 为希望在探索性数据分析中识别重要变量的研究人员提供实用替代方法。
• 警告研究人员在未考虑结构依赖关系的情况下，不应将黑箱机器学习模型用作因果或预测推断的代理。

提出的方法

• 本研究使用从已知因果图生成的合成数据，以模拟各种条件独立结构。
• 在不同因果配置下，评估随机森林重要性得分和神经网络中Shapley值的变量重要性。
• 作者将基于模型的重要性度量与来自真实数据生成过程的真值统计依赖关系进行比较。
• 应用互信息作为非参数统计依赖度量，以识别相关变量，且无需假设函数形式。
• 推荐基于条件独立性和似然得分的因果发现技术，以推断因果结构并指导变量选择。
• 实验系统性地改变因果图结构，以评估结构依赖关系对模型可解释性结果的影响。

实验结果

研究问题

• RQ1 即使变量在因果上相关，诸如随机森林重要性或Shapley值等模型可解释性技术能否可靠识别出与结果统计相关的关键变量？
• RQ2 数据的潜在因果结构在多大程度上影响可解释性方法识别重要预测变量的性能？
• RQ3 线性模型、随机森林和神经网络在对数据中结构依赖关系的敏感性方面有多大差异？
• RQ4 是否存在能更可靠识别预测变量的替代方法，且不会被条件独立性所误导？
• RQ5 因果发现技术能否在探索性研究环境中改善相关变量的识别？

主要发现

• 由于数据中复杂的条件独立结构，随机森林重要性度量经常将与结果高度相关的变量错误分类为不重要。
• 使用Shapley值解释的神经网络也受到结构敏感性的影响，尽管在已知因果图下其行为比随机森林更具可预测性。
• 线性回归系数与真实因果结构一致，但其在捕捉非线性依赖关系方面仍有限，凸显了解释性与灵活性之间的权衡。
• 本研究发现，可解释性技术不可靠，无法用于科学发现，因为它们对数据的潜在因果结构不具有不变性。
• 互信息提供了一种稳健的非参数替代方法，可在不假设函数形式或参数分布假设的前提下检测统计依赖性。
• 结合条件独立性和基于似然的结构学习的因果发现方法，为早期研究阶段识别相关变量提供了更可靠的路径。