[论文解读] On the Explanatory Power of Decision Trees

Gilles Audemard, Steve Bellart+4 more|arXiv (Cornell University)|Aug 11, 2021

Explainable Artificial Intelligence (XAI)参考文献 34被引用 4

一句话总结

本文研究了布尔决策树的解释能力，表明尽管最小充分原因可能呈指数级数量且难以枚举，但关键的解释总结特征——相关性和必要性特征——可多项式时间计算得出。相比之下，对比性解释在计算、最小化和计数方面均具有可处理性，使其在敏感AI应用的可解释性中更具实用性。

ABSTRACT

Decision trees have long been recognized as models of choice in sensitive applications where interpretability is of paramount importance. In this paper, we examine the computational ability of Boolean decision trees in deriving, minimizing, and counting sufficient reasons and contrastive explanations. We prove that the set of all sufficient reasons of minimal size for an instance given a decision tree can be exponentially larger than the size of the input (the instance and the decision tree). Therefore, generating the full set of sufficient reasons can be out of reach. In addition, computing a single sufficient reason does not prove enough in general; indeed, two sufficient reasons for the same instance may differ on many features. To deal with this issue and generate synthetic views of the set of all sufficient reasons, we introduce the notions of relevant features and of necessary features that characterize the (possibly negated) features appearing in at least one or in every sufficient reason, and we show that they can be computed in polynomial time. We also introduce the notion of explanatory importance, that indicates how frequent each (possibly negated) feature is in the set of all sufficient reasons. We show how the explanatory importance of a feature and the number of sufficient reasons can be obtained via a model counting operation, which turns out to be practical in many cases. We also explain how to enumerate sufficient reasons of minimal size. We finally show that, unlike sufficient reasons, the set of all contrastive explanations for an instance given a decision tree can be derived, minimized and counted in polynomial time.

研究动机与目标

• 分析在布尔决策树中推导、最小化和计数充分原因及对比性解释的计算复杂度。
• 解决充分原因完整集合可能呈指数级规模，导致实际枚举不可行的挑战。
• 通过相关性和必要性特征，开发充分原因的可扩展合成表示，以实现可解释的模型分析。
• 在真实世界数据集上评估计算解释重要性、必要/相关特征及对比性解释的算法的实际效率。

提出的方法

• 引入相关特征（至少出现在一个充分原因中的特征）和必要特征（出现在所有充分原因中的特征）的概念，两者均可在多项式时间内计算。
• 提出一种基于模型计数的方法来计算解释重要性——即每个特征在所有充分原因中出现的频率。
• 开发一种高效算法以枚举所有最小充分原因，支持可配置的上限以处理大规模集合。
• 利用决策树的结构，通过基于路径的推理推导对比性解释，实现多项式时间计算。
• 采用贪心算法计算单个充分原因，实证表明其通常能生成最小充分原因。
• 结合基于逻辑的推理与模型计数，提出混合方法，以扩展至包含最多1000个实例的真实世界数据集。

实验结果

研究问题

• RQ1 能否高效计算决策树中某一实例的所有最小充分原因？其可扩展性边界是什么？
• RQ2 鉴于充分原因集合可能呈指数级规模，如何在不枚举全部的情况下对所有充分原因进行总结？
• RQ3 推导决策树对比性解释的计算复杂度是多少？与充分原因相比如何？
• RQ4 解释特征（相关性和必要性特征）在多大程度上能提供对充分原因完整集合的紧凑且有意义的表示？
• RQ5 所提出的算法在实际应用中效率如何，特别是在具有复杂特征空间的真实世界数据集上？

主要发现

• 决策树中某一实例的所有最小充分原因集合可能比输入规模呈指数级增长，导致实际完全枚举不可行。
• 充分原因的数量可能极为庞大，在某些数据集中中位数达100个或以上，某些情况下每实例超过10,000个原因。
• 必要特征的数量显著少于相关特征的数量，这有助于解释为何充分原因数量可能如此之大。
• 用于计算充分原因的贪心算法在实践中通常能生成最小充分原因，表明其具有实际应用价值。
• 对比性解释可在多项式时间内计算、最小化和计数，使其比充分原因更具可扩展性。
• 在90个数据集中的87个，计数充分原因和计算解释重要性的平均时间均低于1秒，表明即使在某些理论困难情况下，仍具备实际效率。