[论文解读] Preserving Causal Constraints in Counterfactual Explanations for Machine Learning Classifiers

Divyat Mahajan, Chenhao Tan+1 more|arXiv (Cornell University)|Dec 6, 2019

Explainable Artificial Intelligence (XAI)参考文献 16被引用 101

一句话总结

论文为反事实解释定义全局与局部可行性，并提出因果距离正则项和基于变分自编码器的方法，在因果约束下生成可行的反事实，并在可行性未知时引入用户反馈。

ABSTRACT

To construct interpretable explanations that are consistent with the original ML model, counterfactual examples---showing how the model's output changes with small perturbations to the input---have been proposed. This paper extends the work in counterfactual explanations by addressing the challenge of feasibility of such examples. For explanations of ML models in critical domains such as healthcare and finance, counterfactual examples are useful for an end-user only to the extent that perturbation of feature inputs is feasible in the real world. We formulate the problem of feasibility as preserving causal relationships among input features and present a method that uses (partial) structural causal models to generate actionable counterfactuals. When feasibility constraints cannot be easily expressed, we consider an alternative mechanism where people can label generated CF examples on feasibility: whether it is feasible to intervene and realize the candidate CF example from the original input. To learn from this labelled feasibility data, we propose a modified variational auto encoder loss for generating CF examples that optimizes for feasibility as people interact with its output. Our experiments on Bayesian networks and the widely used ''Adult-Income'' dataset show that our proposed methods can generate counterfactual explanations that better satisfy feasibility constraints than existing methods.. Code repository can be accessed here: extit{https://github.com/divyat09/cf-feasibility}

研究动机与目标

• 以结构因果模型为基础定义反事实解释的全局与局部可行性。
• 引入因果近似损失在生成反事实时保持原因因果关系。
• 提出基于VAE的方法（基于示例的CF），在因果约束不明确时从用户反馈中学习可行性。
• 证明在Adult-Income和贝叶斯网络数据集上，因果感知方法产生的反事实更具可行性。
• 显示所提出的方法在生成反事实方面比某些现有方法更快。

提出的方法

• 将可行性表述为由底层结构化因果模型（SCM）所蕴含的约束。
• 提出 DistCausal 作为在CF生成过程中保持因果关系的距离项。
• 在未知完整SCM时，提供一元和二元可行性约束作为实际近似。
• 引入一个带部分SCM的模型化CF，以及一个包含可行性的模型近似CF。
• 使用VAE开发基于示例的CF，以生成CF并通过一个 oracle 从用户反馈中学习可行性。
• 优化一个结合有效性、近似度和可行性的损失，在VAE目标中包含KL项。

实验结果

研究问题

• RQ1 反事实解释如何在现实世界保持可行性的同时符合因果约束？
• RQ2 在CF生成过程中强制因果可行性的实用近端损失是什么？
• RQ3 在无法获得完整因果模型时，是否可以利用用户反馈来学习可行性约束？
• RQ4 具因果意识的CF方法是否能产生更可行的反事实并具有与现有方法相当的有效性？
• RQ5 在真实和合成数据集（Adult、Simple-BN、Sangiovese）上，所提方法在可行性和效率方面的表现如何？

主要发现

• 纳入因果可行性的方法在可行性分数上优于基线方法，跨数据集。
• 所有提出的可行性感知方法在测试数据集上达到目标类别的完美有效性。
• 基于模型的CF、模型近似CF和基于示例的CF通常比CEM获得更高的约束可行性分数。
• 基于示例的CF可以从带标签的示例中学习可行性，并通过更多标签提高可行性。
• 在具有已知因果结构的数据集上，这些方法表现出具竞争力或优于的因果边分数。
• 与某些现有基于优化的基线相比，所提出的方法在生成反事实方面更快。