[论文解读] On The Reasons Behind Decisions

Adnan Darwiche, Auguste Hirth|arXiv (Cornell University)|Feb 21, 2020

Machine Learning and Data Classification被引用 63

一句话总结

本文提出一个理论和可行算法，用以通过充分、完整且必要的理由解释布尔分类器的决策，并分析偏见与反事实。

ABSTRACT

Recent work has shown that some common machine learning classifiers can be compiled into Boolean circuits that have the same input-output behavior. We present a theory for unveiling the reasons behind the decisions made by Boolean classifiers and study some of its theoretical and practical implications. We define notions such as sufficient, necessary and complete reasons behind decisions, in addition to classifier and decision bias. We show how these notions can be used to evaluate counterfactual statements such as "a decision will stick even if ... because ... ." We present efficient algorithms for computing these notions, which are based on new advances on tractable Boolean circuits, and illustrate them using a case study.

研究动机与目标

• 定义 classifier 决策背后的充分、完整和必要的理由。
• 引入决策的偏见和反事实概念。
• 提供使用可处理的布尔电路来计算这些概念的算法。
• 展示完整理由如何实现鲁棒解释和偏见检测。

提出的方法

• 将分类器表示为以输入特征为变量的命题公式。
• 使用素蕴含子项来定义充分理由，并将其析取得到完整理由。
• 引入完整理由并证明其与充分/必要理由的关系。
• 通过 Decision-DNNF（与 OBDD 兼容的电路）结合共识和筛选操作来计算理由。
• 提出线性时间的共识构造和基于实例的筛选，以获得可处理的解释。
• 以高校录取分类器的案例研究来说明方法。

实验结果

研究问题

• RQ1 我们如何正式定义并计算导致分类器决策的有信息的理由？
• RQ2 充分、完整和必要的理由如何相互关联并支持解释？
• RQ3 完整理由可以用于检测决策和分类器偏见吗？
• RQ4 可处理的电路表示如何使对决策和反事实的推理变得高效？

主要发现

• 每个决策至少有一个由素蕴含子项表示的充分理由。
• 该决策的完整理由是所有充分理由的析取，并唯一地捕获所有触发属性。
• 在可适用的情况下，充分理由可用于推导反事实和必要理由。
• 当所有充分理由都包含受保护特征时，可以检测决策偏见。
• 即使对单独决策不偏见，也可从完整理由推断分类器偏见。
• 该方法通过在 Decision-DNNF 电路上进行共识和筛选，能实现完整理由的线性时间计算。