[论文解读] True to the Model or True to the Data?

Hugh Chen, Joseph D. Janizek+2 more|arXiv (Cornell University)|Jun 29, 2020

Explainable Artificial Intelligence (XAI)参考文献 19被引用 37

一句话总结

本文比较观测型与干预型Shapley值在特征归因中的作用，显示其在不同应用中的收益取决于情境，并提出基于线性模型的高效方法，并给出真实数据示例（信用风险与生物学）。

ABSTRACT

A variety of recent papers discuss the application of Shapley values, a concept for explaining coalitional games, for feature attribution in machine learning. However, the correct way to connect a machine learning model to a coalitional game has been a source of controversy. The two main approaches that have been proposed differ in the way that they condition on known features, using either (1) an interventional or (2) an observational conditional expectation. While previous work has argued that one of the two approaches is preferable in general, we argue that the choice is application dependent. Furthermore, we argue that the choice comes down to whether it is desirable to be true to the model or true to the data. We use linear models to investigate this choice. After deriving an efficient method for calculating observational conditional expectation Shapley values for linear models, we investigate how correlation in simulated data impacts the convergence of observational conditional expectation Shapley values. Finally, we present two real data examples that we consider to be representative of possible use cases for feature attribution -- (1) credit risk modeling and (2) biological discovery. We show how a different choice of value function performs better in each scenario, and how possible attributions are impacted by modeling choices.

研究动机与目标

• 激发在 ML 解释中关于 Shapley 值的观测条件化与干预条件化之间的辩论。
• 构建一种线性模型框架，以高效计算观测型 Shapley 值。
• 探究特征相关性如何影响观测型 SHAP 的收敛性与归因。
• 通过真实数据集（信用风险与生物学）展示在“对模型真实”与“对数据真实”之间的偏好情形。
• 讨论应用基于 Shapley 的解释的实际含义与局限性。

提出的方法

• 使用观测条件期望与干预条件期望定义 v(S)。
• 给出在 f(x)=βx+b 的线性模型中 Shapley 值的解析形式。
• 假设 x ~ N(μ,Σ) 并通过适当的投影将条件期望投射到完整特征空间。
• 通过将表达式分解为 T(μ) 与 T(x) 来提高计算速度，以在样本之间重复使用指数项。
• 讨论蒙特卡罗采样作为近似，并比较计算成本（精确与近似）。
• 将这些方法应用于真实数据集（LendingClub 贷款违约与 NHANES 死亡率）以及一个基于 RNA-seq 的生物学发现情景。

实验结果

研究问题

• RQ1 在不同应用中应使用哪种条件化（观测型 vs 干预型）来进行 Shapley 归因？
• RQ2 特征相关性如何影响线性模型的观测型 SHAP 的收敛性与归因？
• RQ3 建模选择（如 Elastic Net）能否缓解相关特征带来的“对数据真实”的归因问题？
• RQ4 在实际用例中，观测型与干预型 SHAP 值是否与“对数据真实”或“对模型真实”一致？
• RQ5 在现实任务中，精确的观测型 SHAP 计算与基于模型的替代方案之间有哪些计算权衡？

主要发现

• 观测型 SHAP 值收敛更慢，且在相关特征增多时会将 credit 分散到相关特征上。
• 干预型 SHAP 值往往更“对模型真实”，把 credit 分配给模型明确使用的特征，在扰动这些特征时影响更大。
• 由于相关性，观测型 SHAP 可能将重要性归因于模型未使用的特征（例如 BMI 在与其他特征相关时影响归因）。
• 在信用风险场景中，基于干预型 SHAP 解释的干预比观测性解释更能有效降低预测的违约风险。
• 在生物发现场景中，使用 Lasso 模型时，观测型 SHAP 更好地恢复真实因果特征；而 Elastic Net 建模（在相关特征之间分配信用）可以使解释与数据结构对齐；尽管如此，使用干预型 SHAP 的 Elastic Net 往往提供更快速的计算路径。
• Elastic Net 模型可以在相关特征之间分配信用，从而降低对计算代价高昂的观测型 SHAP 的需求。