[论文解读] Provably Precise, Succinct and Efficient Explanations for Decision Trees

Yacine Izza, Alexey Ignatiev+3 more|arXiv (Cornell University)|May 19, 2022

Explainable Artificial Intelligence (XAI)被引用 8

一句话总结

本文提出了一种新颖的方法，通过δ-相关集（δ-relevant sets）计算决策树的简洁、可证明精确的解释——一种在简洁性与精确性之间取得平衡的近似解释。该方法引入了两种SMT编码和一种多项式时间算法，实践中可实现近乎最小化大小的解释，且运行时间可忽略不计，其在质量与效率上均优于Anchor等模型无关方法。

ABSTRACT

Decision trees (DTs) embody interpretable classifiers. DTs have been advocated for deployment in high-risk applications, but also for explaining other complex classifiers. Nevertheless, recent work has demonstrated that predictions in DTs ought to be explained with rigorous approaches. Although rigorous explanations can be computed in polynomial time for DTs, their size may be beyond the cognitive limits of human decision makers. This paper investigates the computation of δ-relevant sets for DTs. δ-relevant sets denote explanations that are succinct and provably precise. These sets represent generalizations of rigorous explanations, which are precise with probability one, and so they enable trading off explanation size for precision. The paper proposes two logic encodings for computing smallest δ-relevant sets for DTs. The paper further devises a polynomial-time algorithm for computing δ-relevant sets which are not guaranteed to be subset-minimal, but for which the experiments show to be most often subset-minimal in practice. The experimental results also demonstrate the practical efficiency of computing smallest δ-relevant sets.

研究动机与目标

• 为解决决策树中过长决策路径导致的认知过载问题，这些路径可能超出人类理解能力范围。
• 开发一种计算高效的解释生成方法，实现简洁且可证明精确的解释，在实现显著压缩的同时仅损失极少精度。
• 通过证明决策树这一特定情形下近似解释的可计算性，克服一般模型中近似解释的高计算复杂度。
• 通过实证验证，所提方法在实践中不仅高效，且生成的解释为子集最小化，与模型无关的解释器不同。
• 为过于庞大的人类难以理解的严格溯因解释提供可扩展的替代方案。

提出的方法

• 提出δ-相关集作为严格解释的推广，通过置信度阈值δ实现解释大小与精度之间的权衡。
• 设计两种SMT编码——分别使用非线性与线性算术——以计算决策树中最小δ-相关集（WeakPAXp）。
• 提出一种多项式时间算法（ApproxPAXp），计算最小δ-相关集的过近似，实证显示其结果为子集最小化。
• 通过使用NP预言机的迭代精炼方法，将调用次数对数级减少，以计算最小δ-相关集。
• 采用基于逻辑的框架编码特征约束与路径一致性，支持高效的SAT/SMT求解。
• 通过SMT求解验证该方法，并与最先进的模型无关解释器Anchor进行对比。

实验结果

研究问题

• RQ1 尽管在一般模型中复杂度较高，是否能高效计算决策树的δ-相关集？
• RQ2 是否能够计算出既简洁又可证明精确的解释，并保证精度的下限？
• RQ3 针对δ-相关集的多项式时间算法是否在实践中产生接近子集最小化的解释？
• RQ4 与Anchor等模型无关解释器相比，所提方法在解释大小、精度和运行时间方面表现如何？
• RQ5 SMT编码是否能在保持效率与准确性的前提下，扩展至大规模决策树？

主要发现

• 所提SMT编码具有良好的可扩展性，大规模决策树的平均运行时间低于20秒，ApproxPAXp算法运行时间低于0.01秒。
• ApproxPAXp解释在实践中为子集最小化，在dermatology、soybean和texture等数据集上所有δ值下精度超过98%。
• 在spambase数据集中，特征数量从10个减少至5个，同时保持精度高于0.95，证明了有效的压缩能力。
• 所生成解释的平均大小为7±2，符合米勒定律中人类认知极限的7±2项。
• Anchor始终生成质量较低的解释，在texture数据集中与一致路径的重叠度不足20%，且显著更慢。
• 结果证实，如Anchor等模型无关解释器无法同时保证精度与简洁性，而所提基于逻辑的方法则可实现。