[论文解读] Towards Realistic Individual Recourse and Actionable Explanations in Black-Box Decision Making Systems

Shalmali Joshi, Oluwasanmi Koyejo+3 more|arXiv (Cornell University)|Jul 22, 2019

Scientific Computing and Data Management参考文献 18被引用 95

一句话总结

介绍 REVISE，一种基于梯度的方法，利用数据流形（通过生成模型）为在分类和因果决策系统中面临不良结果的个体提供现实、最小化的追索路径，包括处理不可变属性与诊断模型偏见。

ABSTRACT

Machine learning based decision making systems are increasingly affecting humans. An individual can suffer an undesirable outcome under such decision making systems (e.g. denied credit) irrespective of whether the decision is fair or accurate. Individual recourse pertains to the problem of providing an actionable set of changes a person can undertake in order to improve their outcome. We propose a recourse algorithm that models the underlying data distribution or manifold. We then provide a mechanism to generate the smallest set of changes that will improve an individual's outcome. This mechanism can be easily used to provide recourse for any differentiable machine learning based decision making system. Further, the resulting algorithm is shown to be applicable to both supervised classification and causal decision making systems. Our work attempts to fill gaps in existing fairness literature that have primarily focused on discovering and/or algorithmically enforcing fairness constraints on decision making systems. This work also provides an alternative approach to generating counterfactual explanations.

研究动机与目标

• 动机：为受 ML 决策影响的个体提供可行动、现实可行的追索的必要性。
• 提出一个建模数据分布以在数据流形上生成最小、可实现的变化的框架。
• 将追索生成从纯分类扩展到因果决策模型。
• 通过对不可变变量进行条件化并将框架改编为条件因果模型来处理它们。
• 提供诊断能力，以揭示训练决策系统中的偏见和混杂。

提出的方法

• 使用生成模型（例如 VAE、HI-VAE、BiGAN 风格的编码器）建模数据分布，以获得现实样本的潜在流形。
• 将追索定义为在数据流形上找到一个附近的点，使决策从不期望变为期望，优化一个正则化目标，结合预测损失与流形接近度（方程 1 / 方程 2）。
• 在潜在空间中使用基于梯度的更新，在跨越决策边界的同时最小化目标，然后映射回输入空间以获得追索属性。
• 引入可调的正则化权重 lambda，平衡与原始样本的接近度与实现期望结果之间的关系（方程 2）。
• 通过用因果代理目标替换损失来将该方法扩展到因果决策中（方程 3），并通过遍历对应于隐藏混杂变量的潜在空间；讨论 do-干预以及在不同处理下的追索。
• 通过对不可变变量进行条件化并提出条件因果模型（例如条件 CEVAE）来确保建议的变化尊重不可变性。

实验结果

研究问题

• RQ1 是否可以在数据流形上生成追索，以确保对个体的现实性与可行性？
• RQ2 REVISE 框架能否为标准分类和因果决策系统提供可操作的追索？
• RQ3 不可变属性如何影响追索的可行性与质量，模型如何适应它们？
• RQ4 混淆或偏倚数据的存在如何影响生成的追索的质量和性质？
• RQ5 追索是否也可作为诊断工具，用以揭示黑箱决策系统中的偏见？

主要发现

• 所提出的 REVISE 算法能够产生穿越数据流形、跨越决策边界的追索，同时保持对观测数据分布的现实性。
• 追索在有监督分类和因果模型中均有体现，凸显该框架超越线性分类器的通用性。
• 通过条件因果模型处理不可变变量，使追索在不改变不可变属性的情况下实现，从而实现更公平的推荐。
• 在真实数据集上的实验表明，数据偏倚和隐藏混杂影响追索的质量和稀疏性，具有定性与诊断证据。
• 追索可以揭示黑箱模型中的偏见，方法是展示追索路径如何与偏置属性（例如性别识别示例中的性别或发色）相互作用。
• 该框架提供一个诊断工具，用于比较在偏倚数据与无偏数据下学习的分类器，并研究混淆对追索的影响。